在人工智能領(lǐng)域，一場由APUS與新旦智能聯(lián)手掀起的開源革命正在上演。

4月2日，APUS與戰(zhàn)略合作伙伴新旦智能聯(lián)合訓(xùn)練、研發(fā)的千億MoE（Mixture of Experts）架構(gòu)大模型，在GitHub上正式開源。從適配低端算力芯片實(shí)現(xiàn)行業(yè)普惠，到國內(nèi)首 個(gè)開源的千億參數(shù)MoE架構(gòu)大模型模型提質(zhì)增效，APUS-xDAN 大模型4.0(MoE)的應(yīng)用之風(fēng)將強(qiáng)勢來襲。

相比國內(nèi)其他大模型公司，此次與APUS聯(lián)合開源大模型的新旦智能略顯年輕，但創(chuàng)始團(tuán)隊(duì)陣容卻頗為豪華:這是一支由清華、伯克利、騰訊、Meta等頂 尖學(xué)術(shù)與工程界精英組成的團(tuán)隊(duì)，成員包括全球頂 尖的開源AI社區(qū)知名開發(fā)者、資 深騰訊云架構(gòu)師等，并已于今年3月初，完成了萬級(jí)別的天使輪融資，由APUS與AI行業(yè)資 深投資人周弘揚(yáng)聯(lián)合投資。

此次雙方強(qiáng)強(qiáng)聯(lián)合，集成各方優(yōu)勢，讓APUS-xDAN 大模型4.0（MoE）在4090之類的低端算力芯片上，綜合性能達(dá)到了GPT-4的90%。這一全新突破，將為中國企業(yè)應(yīng)用大模型技術(shù)提供更大價(jià)值，進(jìn)一步通過算法優(yōu)化成功破解“算力卡脖子”的難題。

適配低端算力芯片，開啟技術(shù)普惠新時(shí)代

近日，美國商務(wù)部發(fā)布公告，對(duì)美國2023年10月17日發(fā)布的半導(dǎo)體出口管制規(guī)則進(jìn)行修訂，除此前限制英偉達(dá)等公司向中國出口先進(jìn)的AI芯片，這次新規(guī)再次加碼，對(duì)向中國出口芯片的限制也適用于包含低端芯片的筆記本電腦，標(biāo)志著中國將更難獲取美國人工智能芯片和芯片制造工具。

面對(duì)國內(nèi)算力資源局限與國際技術(shù)封鎖，APUS董事長兼CEO李濤談到:“中國要想跳出由美牽頭設(shè)計(jì)的‘算力陷阱’，一方面就要從算法上進(jìn)化，能用低端算力來做高端模型;另一方面則是持續(xù)推動(dòng)應(yīng)用生態(tài)的進(jìn)化，只有堅(jiān)持雙向進(jìn)化，才有可能實(shí)現(xiàn)破局?！?/p>

而此次開源的，APUS-xDAN 大模型4.0（MoE）就是集合數(shù)據(jù)、工程和芯片4090上順暢運(yùn)行的千億參數(shù)規(guī)模大模型，APUS-xDAN 大模型4.0(MoE)進(jìn)一步破局美半導(dǎo)體出口管制，成功助力中國AI產(chǎn)業(yè)在模型應(yīng)用上實(shí)現(xiàn)普惠。

經(jīng)實(shí)際測試顯示，APUS-xDAN 大模型4.0（MoE）從技術(shù)指標(biāo)上來看，模型數(shù)學(xué)能力的GSM8K達(dá)到79分，理解能力的MMLU達(dá)到73分，推理能力的BBH達(dá)到了66分，綜合性能超過GPT3.5，逼近GPT4，在數(shù)學(xué)能力上更是碾壓馬斯克開源的Grok。

對(duì)政府而言，APUS-xDAN 大模型4.0（MoE）的誕生意味著在有限的國產(chǎn)算力資源下，我國依然能自主構(gòu)建并運(yùn)行頂 級(jí)超大規(guī)模語言模型，大幅提升國家層面的技術(shù)自給自足能力與戰(zhàn)略安全。

對(duì)企業(yè)和個(gè)人開發(fā)者，尤其是資金有限的小創(chuàng)業(yè)者，無需斥巨資購置高端GPU，如A100和H100，僅需借助相對(duì)經(jīng)濟(jì)的4090，即可駕馭這款強(qiáng)大的AI工具，極大地降低了創(chuàng)新門檻，實(shí)現(xiàn)AI技術(shù)的普及與廣泛應(yīng)用。

國內(nèi)千億MoE架構(gòu)模型開源，重塑效能邊界

不難發(fā)現(xiàn)，此次開源的APUS-xDAN 大模型4.0率先引入MoE（Mixture of Experts）架構(gòu)，成為國內(nèi)首 個(gè)開源的千億參數(shù)MoE架構(gòu)大模型。相較于其他宣稱擁有MoE架構(gòu)但未開源驗(yàn)證的模型，APUS-xDAN 大模型4.0(MoE)真正將MoE架構(gòu)應(yīng)用于超大規(guī)模模型。

值得一提的是，APUS-xDAN 大模型4.0（MoE）采用GPT4類似的MoE架構(gòu)，特點(diǎn)是多專家模型組合，同時(shí)激活使用只有2個(gè)子模塊，實(shí)際運(yùn)行效率對(duì)比傳統(tǒng)Dense同尺寸模型效率提升200%，推理成本下降400%。在實(shí)際部署上，通過進(jìn)一步的高精度微調(diào)量化技術(shù)，模型尺寸縮小500%，從而擁有了國內(nèi)首 個(gè)可以在消費(fèi)級(jí)顯卡運(yùn)行的千億MoE中英文大模型。

這些特性賦予APUS-xDAN 大模型4.0（MoE）在處理復(fù)雜任務(wù)時(shí)，擁有很難相比的學(xué)習(xí)效率與模型容量，為人工智能的邊界拓展注入澎湃動(dòng)力，為中國AI產(chǎn)業(yè)開拓了全新破局路線，成為國產(chǎn)大模型創(chuàng)新探索的先行軍。

此次，APUS-xDAN 大模型4.0（MoE）以令人矚目的1360億參數(shù)規(guī)模，一舉超越當(dāng)前國內(nèi)最 大開源模型——阿里的千問72B(720億參數(shù))，綜合性能達(dá)到主流大模型TOP級(jí)。這一歷史性突破，不僅見證了我國在超大規(guī)模預(yù)訓(xùn)練模型研發(fā)領(lǐng)域的重大飛躍，更有力彰顯了我國人工智能科研實(shí)力與技術(shù)創(chuàng)新力的國際地位。

構(gòu)建AI產(chǎn)業(yè)應(yīng)用生態(tài)，賦能千行萬業(yè)

“AI的發(fā)展與應(yīng)用，離不開大模型的支撐。而開源大模型的出現(xiàn)，則讓更多的企業(yè)和開發(fā)者能夠利用這些模型，來構(gòu)建更多人工智能+應(yīng)用?！崩顫硎?，此次，APUS-xDAN 大模型4.0（MoE）的開源，一定程度上填補(bǔ)了我國在千億級(jí)別參數(shù)模型開源上的空白，也為人工智能技術(shù)的發(fā)展與應(yīng)用帶來了更多的可能性。

自2014年創(chuàng)立以來，APUS至今已推出200余款應(yīng)用產(chǎn)品，涵蓋工具、內(nèi)容與服務(wù)等多個(gè)場景。APUS轉(zhuǎn)型人工智能后，重構(gòu)自身原生產(chǎn)品矩陣，以工具+AI，內(nèi)容+AI，服務(wù)+AI三層應(yīng)用為全線產(chǎn)品賦能，探索孵化用戶端超 級(jí)應(yīng)用。

在行業(yè)應(yīng)用場景上，從應(yīng)用在G端網(wǎng)信領(lǐng)域能實(shí)現(xiàn)智能辟謠的「APUS智信大模型」，到加持B端醫(yī)院智能診療的「APUS岐黃大模型」、智能電商營銷的「APUS少伯大模型」，到C端擁有智能繪畫能力的「APUS墨染大模型」、中文創(chuàng)作領(lǐng)域擁有AI寫手能力的「APUS云夢大模型」，以及實(shí)現(xiàn)文生視頻能力的「APUS墨視大模型」……APUS正加速實(shí)現(xiàn)大模型普惠，讓AI應(yīng)用更簡單。

在APUS AI開放實(shí)驗(yàn)室，開發(fā)者可通過API接口，快速部署自己的創(chuàng)想應(yīng)用。如今，該AI開放實(shí)驗(yàn)室匯聚了來自全球的頂 尖AI人才，通過APUS的算力支持，共同開源、開放最 新的AI大模型，進(jìn)而推動(dòng)AI產(chǎn)業(yè)健康發(fā)展。

據(jù)悉，此次開源的APUS-xDAN 大模型4.0（MoE）也是APUS繼與深圳大學(xué)國家工程實(shí)驗(yàn)室聯(lián)合開源APUS大模型3.0(伶荔)后，帶來的又一個(gè)重磅大模型，標(biāo)志著APUS在AI通用大模型的布局上更進(jìn)一階。

未來，面對(duì)人工智能產(chǎn)業(yè)的發(fā)展與挑戰(zhàn)，APUS將通過持續(xù)的技術(shù)研發(fā)與社區(qū)共建，積極探索解決方案，不斷提升開源大模型的穩(wěn)定性和泛化能力，確保其在各類復(fù)雜應(yīng)用場景中始終保持領(lǐng)先優(yōu)勢，進(jìn)一步賦能千行萬業(yè)。

（推廣）