国产丝袜啪啪-国产私拍精品88福利视频-国产思思-国产天天色-日韩精品片-日韩精品另类天天更新影院

多模態視頻理解模型新標桿!微軟黃學東團隊發布 i-Code

放大字體  縮小字體 發布日期:2022-05-11     來源:雷鋒網     瀏覽次數:1490
核心提示:真正的類人智能要考慮來自各種信號和感覺器官的信息。智能系統應該是綜合的,引入來自所有可用模式的信號。在許多實際的數據體系
真正的類人智能要考慮來自各種信號和感覺器官的信息。智能系統應該是綜合的,引入來自所有可用模式的信號。在許多實際的數據體系中,我們可以利用視覺(V)、語言(L)和語音/音頻(S)模態的數據。目前,研究者們在建立理解單模態、雙模太的模型方面取得了巨大的進展,然而將這些工作推廣到能夠同時解譯視覺、語言、語音的三模態系統上仍然是一項艱巨的任務。
圖像
三模態訓練需要大量的三模態數據(例如,帶文字描述的視頻),而此類數據的規模往往比可用的單模態或雙模態數據小好幾個數量級。例如,目前最大的帶標注的視頻數據集由 1.8 億段視頻組成,而最大的圖像描述數據集則包含高達 9 億個圖文對。

為了解決該問題,本文提出了兩種解決方案。首先,除了三模態視頻,我們還利用了大規模的雙模態數據,例如:帶有文本描述的圖像(V+L)、帶有轉寫文本的語音(S+L)和視頻描述(V+S)。這極大地擴展了模型輸入數據的規模和多樣性,同時涵蓋了全部三種目標模式。其次,我們提出了一種融合架構,可以采用研究社區提出的最先進的單模態編碼器的上下文輸出,而非從頭開始構建一個獨立的模型。

本文提出了「i-Code」,其中 i 代表集成多模態學習。我們開發了一個有效的融合模塊,該模塊集成了單模態編碼器的輸出,進行跨模態理解,從而獲得最終的預測結果。為了設計最佳的融合架構,我們試驗了多種 Transformer 架構內的自注意機制的變體,包括交叉和合并不同模態的注意力得分的機制。

接著,我們使用各種自監督目標利用雙模態和三模態數據對 i-Code 進行預訓練。這些目標包括:(1)掩碼單元建模。其中所有輸入信號都被轉換為離散的詞例(Token),旨在預測各模態下的被遮蔽的單元的正確詞例。(2)對比學習。給定兩種輸入模態,模型預測給定的信號是否來自訓練數據中的同一個三元組(或數據對)。

我們在多個多模態對比基準上徹底評估了 i-Code。實驗結果證明了所提出的多模態預訓練框架的有效性。對 i-Code 進行微調,相較目前最先進,我們可以在 6 個多模態數據集和 GLUE NLP 基準測試中的算法獲得 11% 的性能提升。 
工博士工業品商城聲明:凡資訊來源注明為其他媒體來源的信息,均為轉載自其他媒體,并不代表本網站贊同其觀點,也不代表本網站對其真實性負責。您若對該文章內容有任何疑問或質疑,請立即與商城(www.jiongmu.cn)聯系,本網站將迅速給您回應并做處理。
聯系電話:021-31666777
新聞、技術文章投稿QQ:3267146135  投稿郵箱:syy@gongboshi.com
主站蜘蛛池模板: 欧美孕交视频 | 国产精品国三级国产aⅴ | 欧美一区二区三区在线观看 | 日本韩国一级毛片中文字幕 | 在线亚洲综合 | 日本乱人伦毛片 | 亚洲第一中文字幕 | 国产成人免费网站 | 国产成人免费高清视频网址 | 欧美日韩一区二区中文字幕视频 | 免费播放特黄特色毛片 | 高清国产一级精品毛片基地 | www.亚洲国产| 性欧美成人依依影院 | 欧美日韩在线播放一区二区三区 | 成人国产精品视频频 | 国产亚洲精品日韩已满十八 | 国产欧美成人 | 中文国产成人精品久久一 | 操欧美女 | 中国a级淫片免费播放 | 窝窝午夜看片七次郎青草视频 | 欧美日韩 国产区 在线观看 | 国产精品亚洲四区在线观看 | 午夜一级毛片看看 | 国产精品hd免费观看 | 在线视频一区二区三区 | 国产区精品在线 | 欧美老妇免费做爰视频 | 欧美久草在线 | 日本aaa毛片 | 黄色三级理论片 | 亚洲欧美日韩精品永久在线 | 精品国产自在现线看久久 | 午夜精品一区二区三区在线观看 | 中国一级特黄真人毛片 | 福利国产视频 | 亚洲国产精品看片在线观看 | 亚洲欧洲一区二区三区久久 | 午夜在线成人 | 国产精品综合久成人 |