要點(diǎn):

• 蘋(píng)果發(fā)布了多模態(tài)大型語(yǔ)言模型MM1，參數(shù)達(dá)到300億，采用MoE架構(gòu)，超半數(shù)作者為華人。

• MM1在模型架構(gòu)、預(yù)訓(xùn)練數(shù)據(jù)選擇和訓(xùn)練方法上進(jìn)行了詳細(xì)探討，并在多項(xiàng)基準(zhǔn)測(cè)試中表現(xiàn)出競(jìng)爭(zhēng)力。

• MM1的預(yù)訓(xùn)練和監(jiān)督微調(diào)結(jié)果顯示，采用不同的數(shù)據(jù)和訓(xùn)練策略可以獲得更好的性能，MoE模型進(jìn)一步擴(kuò)展了潛力。

站長(zhǎng)之家（ChinaZ.com）3月15日 消息:蘋(píng)果公司最新發(fā)布了一款名為MM1的大型多模態(tài)基礎(chǔ)模型，擁有300億參數(shù)，采用了MoE架構(gòu)，并且超過(guò)一半的作者是華人。該模型在多模態(tài)領(lǐng)域具有重要意義，可能預(yù)示著蘋(píng)果未來(lái)推出與此相關(guān)的產(chǎn)品。

今年以來(lái)，蘋(píng)果明顯加大了對(duì)生成式人工智能（GenAI）領(lǐng)域的投入，這一舉措體現(xiàn)了蘋(píng)果在GenAI領(lǐng)域取得重大進(jìn)展的決心。據(jù)悉，蘋(píng)果一部分轉(zhuǎn)向GenAI的團(tuán)隊(duì)原本是從事造車(chē)項(xiàng)目的，而如今他們也開(kāi)始投身于GenAI領(lǐng)域的研發(fā)工作。

論文地址:https://arxiv.org/pdf/2403.09611.pdf

MM1的發(fā)布引起了廣泛關(guān)注。據(jù)論文介紹，該模型采用了MoE變體，并且在預(yù)訓(xùn)練指標(biāo)和多項(xiàng)多模態(tài)基準(zhǔn)測(cè)試上表現(xiàn)出了領(lǐng)先水平。研究者通過(guò)多項(xiàng)消融試驗(yàn)，探討了模型架構(gòu)、預(yù)訓(xùn)練數(shù)據(jù)選擇以及訓(xùn)練程序等方面的重要性。他們發(fā)現(xiàn)，圖像分辨率、視覺(jué)編碼器損失和預(yù)訓(xùn)練數(shù)據(jù)在建模設(shè)計(jì)中都起著關(guān)鍵作用。

在預(yù)訓(xùn)練數(shù)據(jù)選擇方面，研究者發(fā)現(xiàn)了幾個(gè)重要經(jīng)驗(yàn):交錯(cuò)數(shù)據(jù)對(duì)提高少樣本和純文本性能有幫助，而字幕數(shù)據(jù)則對(duì)提高零樣本性能具有重要作用。

此外，純文本數(shù)據(jù)對(duì)于提高少樣本和純文本性能同樣至關(guān)重要。通過(guò)合理混合圖像和文本數(shù)據(jù)，可以獲得最佳的多模態(tài)性能，并保留較強(qiáng)的文本性能。研究者還發(fā)現(xiàn)，人工合成數(shù)據(jù)有助于少樣本學(xué)習(xí)。

最終，研究者確定了MM1的最終配方，包括圖像編碼器、視覺(jué)語(yǔ)言連接器和預(yù)訓(xùn)練數(shù)據(jù)的選擇。他們還將LLM的大小擴(kuò)大到3B、7B和30B個(gè)參數(shù)，并通過(guò)專家混合（MoE）進(jìn)一步擴(kuò)展了模型。在監(jiān)督微調(diào)實(shí)驗(yàn)中，MM1在多項(xiàng)基準(zhǔn)測(cè)試上表現(xiàn)出了競(jìng)爭(zhēng)力，并且MoE模型在幾乎所有基準(zhǔn)測(cè)試中均表現(xiàn)優(yōu)于密集模型。

MM1的發(fā)布標(biāo)志著蘋(píng)果在多模態(tài)領(lǐng)域的重要進(jìn)展，也為未來(lái)蘋(píng)果可能推出的相關(guān)產(chǎn)品奠定了技術(shù)基礎(chǔ)。該研究的成果對(duì)于推動(dòng)生成式人工智能領(lǐng)域的發(fā)展具有重要意義，值得業(yè)界密切關(guān)注。

（舉報(bào)）