真正的類人智能要考慮來自各種信號和感覺器官的信息。智能系統(tǒng)應(yīng)該是綜合的，引入來自所有可用模式的信號。在許多實際的數(shù)據(jù)體系中，我們可以利用視覺（V）、語言（L）和語音/音頻（S）模態(tài)的數(shù)據(jù)。目前，研究者們在建立理解單模態(tài)、雙模太的模型方面取得了巨大的進展，然而將這些工作推廣到能夠同時解譯視覺、語言、語音的三模態(tài)系統(tǒng)上仍然是一項艱巨的任務(wù)。 三模態(tài)訓(xùn)練需要大量的三模態(tài)數(shù)據(jù)（例如，帶文字描述的視頻），而此類數(shù)據(jù)的規(guī)模往往比可用的單模態(tài)或雙模態(tài)數(shù)據(jù)小好幾個數(shù)量級。例如，目前最大的帶標注的視頻數(shù)據(jù)集由 1.8 億段視頻組成，而最大的圖像描述數(shù)據(jù)集則包含高達 9 億個圖文對。

為了解決該問題，本文提出了兩種解決方案。首先，除了三模態(tài)視頻，我們還利用了大規(guī)模的雙模態(tài)數(shù)據(jù)，例如：帶有文本描述的圖像（V+L）、帶有轉(zhuǎn)寫文本的語音（S+L）和視頻描述（V+S）。這極大地擴展了模型輸入數(shù)據(jù)的規(guī)模和多樣性，同時涵蓋了全部三種目標模式。其次，我們提出了一種融合架構(gòu)，可以采用研究社區(qū)提出的最先進的單模態(tài)編碼器的上下文輸出，而非從頭開始構(gòu)建一個獨立的模型。

本文提出了「i-Code」,其中 i 代表集成多模態(tài)學習。我們開發(fā)了一個有效的融合模塊，該模塊集成了單模態(tài)編碼器的輸出，進行跨模態(tài)理解，從而獲得最終的預(yù)測結(jié)果。為了設(shè)計最佳的融合架構(gòu)，我們試驗了多種 Transformer 架構(gòu)內(nèi)的自注意機制的變體，包括交叉和合并不同模態(tài)的注意力得分的機制。

接著，我們使用各種自監(jiān)督目標利用雙模態(tài)和三模態(tài)數(shù)據(jù)對 i-Code 進行預(yù)訓(xùn)練。這些目標包括：（1）掩碼單元建模。其中所有輸入信號都被轉(zhuǎn)換為離散的詞例（Token），旨在預(yù)測各模態(tài)下的被遮蔽的單元的正確詞例。（2）對比學習。給定兩種輸入模態(tài)，模型預(yù)測給定的信號是否來自訓(xùn)練數(shù)據(jù)中的同一個三元組（或數(shù)據(jù)對）。

我們在多個多模態(tài)對比基準上徹底評估了 i-Code。實驗結(jié)果證明了所提出的多模態(tài)預(yù)訓(xùn)練框架的有效性。對 i-Code 進行微調(diào)，相較目前最先進，我們可以在 6 個多模態(tài)數(shù)據(jù)集和 GLUE NLP 基準測試中的算法獲得 11% 的性能提升。