站長(zhǎng)之家（ChinaZ.com）8月9日 消息:據(jù)科創(chuàng)板日?qǐng)?bào)消息，中國(guó)電信與科大訊飛簽署了戰(zhàn)略合作協(xié)議。
雙方此次合作旨在進(jìn)一步探索5G、人工智能、云計(jì)算等新一代信息技術(shù)的創(chuàng)新應(yīng)用與發(fā)展。
未來，雙方將在多模態(tài)大模型、智算網(wǎng)絡(luò)、云計(jì)算、人工智能應(yīng)用、泛智能終端等領(lǐng)域展開技術(shù)研發(fā)和業(yè)務(wù)合作，共同打造具有國(guó)際競(jìng)爭(zhēng)力的重點(diǎn)產(chǎn)品和服務(wù)。
（舉報(bào)）
隨著GPT-4的發(fā)布，多模態(tài)大模型成為熱點(diǎn)。業(yè)界常將視覺編碼器與語言模型集成構(gòu)建MLLM。模型設(shè)計(jì)和訓(xùn)練技巧仍需進(jìn)一步優(yōu)化，以平衡不同能力之間的權(quán)衡。
北京交通大學(xué)等機(jī)構(gòu)聯(lián)合推出了新多模態(tài)大模型MMICL。它支持文本、圖像、視頻三種模態(tài)的混合輸入，在多項(xiàng)多模態(tài)能力評(píng)測(cè)中表現(xiàn)搶眼。隨著其性能和適用場(chǎng)景的不斷優(yōu)化，MMICL有望成為多模態(tài)領(lǐng)域的新寵。
隨著視覺與語言的深度融合，文本圖像理解成為多模態(tài)領(lǐng)域的新方向。文章介紹了一個(gè)突破性的多模態(tài)模型KOSMOS-2.5，它在處理文本密集圖像上展現(xiàn)強(qiáng)大能力。目標(biāo)是進(jìn)一步提升對(duì)文本圖像的解釋生成能力，將KOSMOS-2.5應(yīng)用于更多實(shí)際場(chǎng)景，如文檔處理、信息抽取等，從使語言模型真正具備「讀圖識(shí)文」的能力。
中國(guó)電信發(fā)布了信息通信領(lǐng)域首個(gè)網(wǎng)絡(luò)大模型——啟明，這一創(chuàng)新模型對(duì)于提升云網(wǎng)運(yùn)營(yíng)效率、開放云網(wǎng)能力以及推動(dòng)智能化技術(shù)應(yīng)用在各行各業(yè)的發(fā)展具有重大意義。中國(guó)電信副總經(jīng)理夏冰在會(huì)議上強(qiáng)調(diào)，大模型是人工智能技術(shù)的重要趨勢(shì)中國(guó)電信正積極投身于這一科技革命中，利用其云網(wǎng)融合的優(yōu)勢(shì)，推動(dòng)基礎(chǔ)通用大模型向垂直行業(yè)大模型的演進(jìn)，為上層行業(yè)應(yīng)用開發(fā)和開源生態(tài)提供技術(shù)支撐。中國(guó)電信自主研發(fā)的網(wǎng)絡(luò)大模型已在企業(yè)內(nèi)部成熟應(yīng)用，并計(jì)劃攜手產(chǎn)學(xué)研合作伙伴，提供多種形式的MaaS服務(wù)，以賦能千行百業(yè)。
“與歷屆亞運(yùn)會(huì)相比，杭州亞運(yùn)會(huì)很可能是最智能的一屆?！笔莵唺W理事會(huì)代理總干事維諾德在接受媒體訪問時(shí)的評(píng)價(jià)。期待這些黑科技產(chǎn)品逐漸滲透到普通用戶的生活中，為我們的生活帶來更多便利、效率和可持續(xù)性。
“大模型”無疑是當(dāng)前科技互聯(lián)網(wǎng)領(lǐng)域最受關(guān)注的話題。國(guó)內(nèi)外科技企業(yè)競(jìng)相圍繞大模型擴(kuò)展商業(yè)版圖，國(guó)產(chǎn)大模型進(jìn)入高速發(fā)展期，據(jù)不完全統(tǒng)計(jì)，目前中國(guó)10億參數(shù)規(guī)模以上的大模型已發(fā)布79個(gè)……“百模大戰(zhàn)”愈演愈烈。通過實(shí)測(cè)我們可以看到，在星火大模型的加持下，訊飛智能辦公本X3在效率辦公方面的能力得到了飛躍式的提升，助力職場(chǎng)商務(wù)人士游刃有余地處理工作，讓每一位辦公人士都能夠輕松辦公，享受智能辦公時(shí)代的樂趣。
繼各類單一模態(tài)輸入的多模態(tài)語言模型后，新加坡國(guó)立大學(xué)的華人團(tuán)隊(duì)最近開源了全能多模態(tài)模型NExT-GPT。該模型支持任意模態(tài)的輸入和輸出，可以實(shí)現(xiàn)文本、圖像、語音和視頻之間的自由轉(zhuǎn)換，是第一個(gè)實(shí)現(xiàn)從任一模態(tài)到任一模態(tài)轉(zhuǎn)換的通用多模態(tài)系統(tǒng)。后續(xù)工作可以考慮擴(kuò)展更多模態(tài)，使用更大規(guī)模的語言模型基座，以及改進(jìn)多模態(tài)生成策略等。
繼各類輸入端多模態(tài)大語言模型之后，新加坡國(guó)立大學(xué)華人團(tuán)隊(duì)近期開源一種支持任意模態(tài)輸入和任意模態(tài)輸出的真正「大一統(tǒng)」多模態(tài)大模型，火爆AI社區(qū)。ChatGPT的誕生，引爆了2023年的基于大語言模型的AI浪潮，此后各類開源大語言模型陸續(xù)問世，包括Flan-T5、Vicuna、LLaMA、Alpaca等。后續(xù)研究可以進(jìn)一步提升模態(tài)切換指令微調(diào)學(xué)習(xí)策略以及數(shù)據(jù)集。
蘋果AI/ML團(tuán)隊(duì)與哥倫比亞大學(xué)合作研發(fā)的多模態(tài)大模型“雪貂”已經(jīng)成功突破了谷歌人機(jī)驗(yàn)證碼的難題，能夠輕松識(shí)別圖像中的交通信號(hào)燈并準(zhǔn)確圈出其位置，其性能直逼GPT-4V。Ferret的關(guān)鍵在于改進(jìn)了大模型在“看說答”任務(wù)中的精確度，這得益于其出色的圖文關(guān)聯(lián)能力。通過這一研究，F(xiàn)erret為解決圖像理解和多模態(tài)任務(wù)提供了新的方向，有望在人機(jī)交互、智能搜索等領(lǐng)域取得
多模態(tài)大模型的戰(zhàn)場(chǎng)上，已有人聞到風(fēng)聲。OpenAI的全新多模態(tài)模型Gobi似乎已在籌備中。順便提一句，OpenAI即將在11月召開的首屆開發(fā)者大會(huì)，已經(jīng)開始注冊(cè)了，快上手申請(qǐng)吧。
