国产丝袜啪啪-国产私拍精品88福利视频-国产思思-国产天天色-日韩精品片-日韩精品另类天天更新影院

多模態視頻理解模型新標桿!微軟黃學東團隊發布 i-Code

放大字體  縮小字體 發布日期:2022-05-11     來源:雷鋒網     瀏覽次數:1490
核心提示:真正的類人智能要考慮來自各種信號和感覺器官的信息。智能系統應該是綜合的,引入來自所有可用模式的信號。在許多實際的數據體系
真正的類人智能要考慮來自各種信號和感覺器官的信息。智能系統應該是綜合的,引入來自所有可用模式的信號。在許多實際的數據體系中,我們可以利用視覺(V)、語言(L)和語音/音頻(S)模態的數據。目前,研究者們在建立理解單模態、雙模太的模型方面取得了巨大的進展,然而將這些工作推廣到能夠同時解譯視覺、語言、語音的三模態系統上仍然是一項艱巨的任務。
圖像
三模態訓練需要大量的三模態數據(例如,帶文字描述的視頻),而此類數據的規模往往比可用的單模態或雙模態數據小好幾個數量級。例如,目前最大的帶標注的視頻數據集由 1.8 億段視頻組成,而最大的圖像描述數據集則包含高達 9 億個圖文對。

為了解決該問題,本文提出了兩種解決方案。首先,除了三模態視頻,我們還利用了大規模的雙模態數據,例如:帶有文本描述的圖像(V+L)、帶有轉寫文本的語音(S+L)和視頻描述(V+S)。這極大地擴展了模型輸入數據的規模和多樣性,同時涵蓋了全部三種目標模式。其次,我們提出了一種融合架構,可以采用研究社區提出的最先進的單模態編碼器的上下文輸出,而非從頭開始構建一個獨立的模型。

本文提出了「i-Code」,其中 i 代表集成多模態學習。我們開發了一個有效的融合模塊,該模塊集成了單模態編碼器的輸出,進行跨模態理解,從而獲得最終的預測結果。為了設計最佳的融合架構,我們試驗了多種 Transformer 架構內的自注意機制的變體,包括交叉和合并不同模態的注意力得分的機制。

接著,我們使用各種自監督目標利用雙模態和三模態數據對 i-Code 進行預訓練。這些目標包括:(1)掩碼單元建模。其中所有輸入信號都被轉換為離散的詞例(Token),旨在預測各模態下的被遮蔽的單元的正確詞例。(2)對比學習。給定兩種輸入模態,模型預測給定的信號是否來自訓練數據中的同一個三元組(或數據對)。

我們在多個多模態對比基準上徹底評估了 i-Code。實驗結果證明了所提出的多模態預訓練框架的有效性。對 i-Code 進行微調,相較目前最先進,我們可以在 6 個多模態數據集和 GLUE NLP 基準測試中的算法獲得 11% 的性能提升。 
工博士工業品商城聲明:凡資訊來源注明為其他媒體來源的信息,均為轉載自其他媒體,并不代表本網站贊同其觀點,也不代表本網站對其真實性負責。您若對該文章內容有任何疑問或質疑,請立即與商城(www.jiongmu.cn)聯系,本網站將迅速給您回應并做處理。
聯系電話:021-31666777
新聞、技術文章投稿QQ:3267146135  投稿郵箱:syy@gongboshi.com
主站蜘蛛池模板: 成人黄色在线免费观看 | 国产一级爱c片免费播放 | 国产日本三级 | 毛片网站大全 | 国产一区亚洲欧美成人 | 亚洲一区免费在线观看 | 91热久久免费频精品动漫99 | 国产成人综合久久精品亚洲 | 欧美国产精品一区二区免费 | 又黄又刺激下面流水的视频 | 成人a在线观看 | 透逼视频| 免费观看a级毛片在线播放 免费观看a级网站 | 日韩精品观看 | 成人观看免费大片在线观看 | 香蕉网影院在线观看免费 | 国产在线观看精品一区二区三区91 | 亚洲国产成人精品久久 | 久久精品国产大片免费观看 | 日本一区二区高清不卡 | 久久久久国产精品美女毛片 | 欧美成人激情 | 欧美高清性色生活片免费观看 | 亚洲成人国产 | 日b毛片 | 欧美高清一级片 | 黄色在线不卡 | 日本69色视频在线观看 | 免费一区区三区四区 | 久久久久免费 | 国产乱子伦在线观看不卡 | 美女张开腿给男生桶下面视频 | 黄色美女免费网站 | 亚洲免费一级视频 | 国产午夜毛片一区二区三区 | 久久精品国产99国产精品 | 日本三级香港三级人妇99视 | 91九色国产| 久久久久久久久影院 | 国产网站免费视频 | 午夜亚洲国产成人不卡在线 |