要點:

• FACTORCL是一種新的多模態(tài)表示學習方法，旨在解決對比學習在低共享或高獨特信息情境中無法收集任務(wù)相關(guān)信息的問題。

• 該方法通過因子化任務(wù)相關(guān)信息為共享和獨特信息，并通過最大化互信息下界獲取任務(wù)相關(guān)信息，最小化互信息上界提取任務(wù)不相關(guān)信息，實現(xiàn)了對任務(wù)相關(guān)信息的優(yōu)化學習。

• FACTORCL采用多模態(tài)增強來評估任務(wù)相關(guān)信息，使得在自監(jiān)督情景中實現(xiàn)了任務(wù)相關(guān)性的建立，無需顯式標記。

站長之家（ChinaZ.com）11月21日 消息:最近，研究人員推出了一種名為FACTORCL的新型多模態(tài)表示學習方法，以解決對比學習在復雜多模態(tài)背景下的局限性?，F(xiàn)有的多模態(tài)預訓練技術(shù)主要基于多視圖學習，利用多視圖冗余的關(guān)鍵前提，即通過模態(tài)間的信息交換幾乎完全與隨后的任務(wù)相關(guān)。

項目地址：https://github.com/pliang279/FactorCL

對比學習在真實世界中更廣泛的多模態(tài)背景下存在的兩個關(guān)鍵限制:

1. 在許多任務(wù)中存在較少的任務(wù)相關(guān)信息，使得傳統(tǒng)多模態(tài)對比學習難以獲得所需的任務(wù)相關(guān)信息。

2. 多個模態(tài)可能提供不同的任務(wù)相關(guān)信息，傳統(tǒng)對比學習會忽略這些獨特的信息，導致性能下降。為了克服這些限制，研究人員引入了FACTORCL方法，通過明確因子化共享和獨特的表示，以獲得適當和必要的信息內(nèi)容。

該方法通過最大化互信息下界和最小化互信息上界，獨立優(yōu)化共享和獨特信息，從而實現(xiàn)了對任務(wù)相關(guān)信息的最優(yōu)表示。另外，F(xiàn)ACTORCL利用多模態(tài)增強在自監(jiān)督場景中估計任務(wù)相關(guān)信息，無需顯式標記，提高了學習效果。在實驗證明，F(xiàn)ACTORCL在多個數(shù)據(jù)集上實現(xiàn)了新的最先進性能。

FACTORCL方法的基本原理，包括明確因子化共享和獨特的表示，以及通過最大化互信息下界和最小化互信息上界來優(yōu)化共享和獨特信息的學習。

研究人員使用FACTORCL在合成數(shù)據(jù)集和真實世界多模態(tài)基準測試中進行的實驗證明，包括情感、情緒、幽默、諷刺等方面的預測，以及在六個數(shù)據(jù)集上達到的最先進性能。

（舉報）