2023年12月17日，掘力計劃在深圳成功舉辦第28期分享活動。本次活動以《大模型的技術(shù)探索與 AIGC 應(yīng)用創(chuàng)新》為主題，云集多名人工智能業(yè)內(nèi)大咖，就大模型技術(shù)的最 新進(jìn)展與商業(yè)化應(yīng)用進(jìn)行深入探討。會場座無虛席，現(xiàn)場氣氛熱烈。

本次活動內(nèi)容豐富，觀點獨特，深受與會者好評。其中，RWKV 元始智能聯(lián)合創(chuàng)始人羅璇講師詳細(xì)解析了 RWKV 模型的計算效率優(yōu)勢;NVIDIA 資 深工程師王猛講師介紹了 TensorRT-LLM 強大的推理性能;阿里巴巴企業(yè)智能算法負(fù)責(zé)人陳祖龍講師分享了大模型助力企業(yè)內(nèi)部數(shù)字化轉(zhuǎn)型的實例;愛創(chuàng)作人工智能聯(lián)合創(chuàng)始人朱強強講師則闡述了 AIGC 怎樣顛覆出口跨境行業(yè)的運作模式。

二、RWKV模型帶來計算效率和成本的雙提升

羅璇講師帶來主題為《RWKV，新架構(gòu)的大模型》的分享，他不僅是 RWKV 元始智能的聯(lián)合創(chuàng)始人，還擁有豐富的技術(shù)研發(fā)與產(chǎn)品管理經(jīng)驗。羅璇講師指出，RWKV模型通過其特有的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計，使得其時間和空間復(fù)雜度分別降至 O（1） 和 O(T)，極大提升了計算效率。其中，Receptance 模塊提取輸入的語義特征，Weight 模塊通過位置權(quán)重實現(xiàn)長程依賴建模，two-stream 設(shè)計則兼具了 RNN 和 Transformer 的優(yōu)點。這種算法架構(gòu)避免了 Self-Attention 中順序操作的計算瓶頸，可實現(xiàn)順序長度不變的恒定時間復(fù)雜度。

例如，在一項翻譯任務(wù)中，當(dāng)文本長度增加到2048時，RWKV 的加速比達(dá)到45倍之多。即使在長度為4096的極端情況下，其吞吐量仍遠(yuǎn)超過基準(zhǔn)模型。在推理階段，RWKV 消耗的內(nèi)存也保持恒定，這使其可以在大多數(shù)設(shè)備上峰暢部署，而不受長度限制。

與此同時，RWKV 模型顯著降低了訓(xùn)練和使用的計算成本。相比 BERT-Large 等模型，其參數(shù)量減少75%，計算量減少65%。這不僅大幅降低了算力需求，也使得商業(yè)部署門檻更低。業(yè)內(nèi)測試表明，其算力價格比可以低至1/20，存儲成本也更加經(jīng)濟(jì)。因此，RWKV 使大模型的應(yīng)用變得更加實用與可行。

三、TensorRT-LLM 構(gòu)建高性能的LLM推理架構(gòu)

NVIDIA 資 深 DevTech 工程師王猛帶來名為《Introduction to TensorRT-LLM》的主題演講。王猛講師在 NVIDIA 已經(jīng)工作四年多，主要負(fù)責(zé) TensorRT 和 TensorRT-LLM 等相關(guān)框架的支持，在推理加速領(lǐng)域具有豐富的經(jīng)驗。

王猛講師在演講中詳細(xì)介紹了 TensorRT-LLM 這一 NVIDIA 自研的 LLM 推理加速解決方案。TensorRT-LLM 通過軟硬件協(xié)同設(shè)計，專門針對大語言模型的推理特點進(jìn)行了優(yōu)化，以提供業(yè)界領(lǐng)先的執(zhí)行效率。它支持主流的 Transformer 類模型，提供了優(yōu)化的內(nèi)核，實現(xiàn)了高性能的張量并行與流水線并行。同時，TensorRT-LLM 也在易用性上下足功夫，提供了類似 PyTorch 的 Python API，通過預(yù)定義模型與面向?qū)ο蟮姆绞胶喕耸褂谩?/p>

目前，TensorRT-LLM 以開源形式在 GitHub 上提供，其中 Python API 等大部分內(nèi)容開源。這降低了用戶的入門門檻，也便于基于現(xiàn)有實現(xiàn)進(jìn)行擴展開發(fā)。在支持模型的廣度與深度、執(zhí)行效率、易用性等多個維度，TensorRT-LLM 都展現(xiàn)出業(yè)內(nèi)知名的水準(zhǔn)。它的出現(xiàn)將有效降低企業(yè)和研究人員部署大模型的難度，助力大模型架構(gòu)在產(chǎn)業(yè)界的廣泛落地。

四、大模型助力企業(yè)數(shù)字化轉(zhuǎn)型

陳祖龍講師帶來演講主題為《大模型+企業(yè)辦公數(shù)字化實踐》的分享。他是現(xiàn)任阿里巴巴企業(yè)智能算法負(fù)責(zé)人，在人工智能領(lǐng)域有著豐富的從業(yè)經(jīng)驗。陳祖龍講師在演講中表示，數(shù)字化轉(zhuǎn)型已經(jīng)成為企業(yè)發(fā)展的必由之路。一方面，國家政策和實際需求都在推動企業(yè)數(shù)字化;另一方面，數(shù)字化可以提升企業(yè)運營效率，為決策提供支撐。但是企業(yè)數(shù)字化面臨數(shù)據(jù)復(fù)雜、業(yè)務(wù)復(fù)雜和評估難度大的三大挑戰(zhàn)。

為此，阿里巴巴構(gòu)建了面向員工和辦公系統(tǒng)的完整數(shù)字化解決方案。在員工層面，通過智能小助手為員工提供所需服務(wù);在系統(tǒng)層面，則通過智能文檔解析、質(zhì)量控制、權(quán)限管理等模塊處理數(shù)據(jù)，并使用GPT生成數(shù)據(jù)提高查詢理解準(zhǔn)確率，采用 BGE 優(yōu)化多文檔排序等方法不斷優(yōu)化系統(tǒng)性能。

可以看出，大模型在理解非結(jié)構(gòu)化數(shù)據(jù)、生成訓(xùn)練數(shù)據(jù)等方面發(fā)揮了重要作用，有效提升了數(shù)字化系統(tǒng)的智能化水平。陳祖龍講師表示，未來數(shù)字化辦公將呈現(xiàn)“信息化+機器人”的形態(tài)，數(shù)據(jù)與業(yè)務(wù)場景不斷深度融合，大模型將推動企業(yè)實現(xiàn)數(shù)字化轉(zhuǎn)型。

五、AIGC 顛覆出口跨境行業(yè)

本次活動也邀請到了朱強強講師做名為《AIGC 如何改變出口跨境行業(yè)》的分享，朱強強講師是愛創(chuàng)作的人工智能聯(lián)合創(chuàng)始人，長期致力于將AI技術(shù)應(yīng)用于內(nèi)容制作領(lǐng)域，在該領(lǐng)域積累了豐富的實戰(zhàn)經(jīng)驗和獨到的專業(yè)視角。

朱強強講師指出，AIGC 工具為出口跨境企業(yè)帶來了翻天覆地的變化。在產(chǎn)品設(shè)計上，Midjourney 等工具可以通過文字描述快速繪制產(chǎn)品設(shè)計草圖，這為中小企業(yè)解決了設(shè)計難題;在電商運營上，ChatGPT 可以深入理解海外市場，以及模擬用戶反饋來優(yōu)化決策;在品牌建設(shè)上，AIGC 可以有效生成創(chuàng)意設(shè)計和文案，提升品牌實力?？梢哉f，AIGC 將持續(xù)滲透到出口企業(yè)的各個領(lǐng)域，成為標(biāo)準(zhǔn)工作流程的一部分，并將幫助更多企業(yè)實現(xiàn)產(chǎn)業(yè)升級。

AIGC 的出現(xiàn)給出口跨境企業(yè)帶來了翻天覆地的變化。從產(chǎn)品設(shè)計到品牌運營，AIGC 提高了工作效率，降低了成本，實現(xiàn)了本土化市場的深入理解。可以預(yù)見，AIGC將持續(xù)滲透到出口跨境企業(yè)的各個領(lǐng)域，成為標(biāo)準(zhǔn)的工作流程。

六、總結(jié)和展望

本次技術(shù)分享會聚焦大模型技術(shù)的發(fā)展前沿，以及 AIGC 在實際業(yè)務(wù)中的應(yīng)用創(chuàng)新實踐。四位業(yè)內(nèi)專家從理論和實踐兩個維度進(jìn)行探討，內(nèi)容豐富，對行業(yè)發(fā)展提供了寶貴思考。相信大模型作為AI的重要趨勢，必將產(chǎn)生深遠(yuǎn)的技術(shù)和商業(yè)影響。讓我們繼續(xù)關(guān)注其產(chǎn)生的更多可能性!

掘力計劃

掘力計劃由稀土掘金技術(shù)社區(qū)發(fā)起，致力于打造一個高品質(zhì)的技術(shù)分享和交流的系列品牌。聚集國內(nèi)外頂 尖的技術(shù)專家、開發(fā)者和實踐者，通過線下沙龍、閉門會、公開課等多種形式分享最前沿的技術(shù)動態(tài)。

（推廣）