7月25日，備受期待的《永劫無(wú)間》手游正式開啟公測(cè)，該手游預(yù)下載階段便榮登App Store免費(fèi)總榜TOP1!游戲中全新引入的語(yǔ)音AI隊(duì)友功能，迅速吸引了廣大玩家的關(guān)注和好評(píng)。
這一創(chuàng)新玩法由網(wǎng)易24工作室聯(lián)合網(wǎng)易伏羲AI實(shí)驗(yàn)室共同研發(fā)，作為全球首 款游戲Co pilot隊(duì)友，該功能依托于最前沿的AI大模型推理技術(shù)，成功塑造了與真人玩家體驗(yàn)相媲美的AI隊(duì)友。AI隊(duì)友不僅能夠自主執(zhí)行跑圖、搜索物資、參與戰(zhàn)斗、跑圈等戰(zhàn)術(shù)動(dòng)作，更能在戰(zhàn)斗中提供輔助和救援，通過(guò)自然語(yǔ)音與玩家進(jìn)行雙向無(wú)縫溝通。
《永劫無(wú)間》手游上線當(dāng)日，網(wǎng)易伏羲AI技術(shù)負(fù)責(zé)人睿風(fēng)應(yīng)邀在「2024驍龍游戲技術(shù)賞」上發(fā)表演講，首 次公開分享《永劫無(wú)間》手游中語(yǔ)音AI隊(duì)友的技術(shù)探索和應(yīng)用成果。該活動(dòng)為高通公司循例在ChinaJoy前夕舉辦的年度盛會(huì)，今年，高通公司攜手網(wǎng)易伏羲等產(chǎn)業(yè)合作伙伴，共同探討移動(dòng)技術(shù)創(chuàng)新如何賦能前沿?cái)?shù)字娛樂(lè)體驗(yàn)。
因演講當(dāng)日恰逢《永劫無(wú)間》手游公測(cè)上線，睿風(fēng)無(wú)法到達(dá)現(xiàn)場(chǎng)，所以通過(guò)連線方式進(jìn)行分享。以下是他的演講實(shí)錄:
大家好，我是來(lái)自網(wǎng)易伏羲的睿風(fēng)，很高興能夠參加「驍龍游戲技術(shù)賞」。
（網(wǎng)易伏羲AI技術(shù)負(fù)責(zé)人睿風(fēng)現(xiàn)場(chǎng)連線分享畫面）
網(wǎng)易伏羲成立于2017年9月份，是國(guó)內(nèi)第 一個(gè)面向游戲行業(yè)進(jìn)行AI研究的人工智能實(shí)驗(yàn)室，我們以“創(chuàng)建人工智能與游戲交叉領(lǐng)域的世界知名實(shí)驗(yàn)室”為宗旨，運(yùn)用人工智能尖 端技術(shù)為玩家營(yíng)造新世代的游戲體驗(yàn)，同時(shí)也借助游戲平臺(tái)的海量數(shù)據(jù)和仿真環(huán)境，推動(dòng)人工智能技術(shù)的發(fā)展。
自2017年成立至今，網(wǎng)易伏羲已經(jīng)在多款游戲中落地大量的AI玩法。例如我們?cè)凇赌嫠范擞沃惺讋?chuàng)AI照片捏臉玩法和智能養(yǎng)育系統(tǒng)，在《永劫無(wú)間》端游中，我們上線了基于強(qiáng)化學(xué)習(xí)技術(shù)的噩夢(mèng)人機(jī)玩法，利用AI反外掛技術(shù)定位和處罰違規(guī)玩家確保公平游戲環(huán)境。去年我們?cè)诂F(xiàn)象級(jí)游戲《逆水寒》手游中落地了大量創(chuàng)新的AI應(yīng)用，包括智能NPC、文字捏臉、大宋頭條、UGC劇組模式等等，打造了全球首 款A(yù)I游戲，也獲得了玩家們的高度認(rèn)可和歡迎。
今年，我們?cè)诮裉煺缴暇€的《永劫無(wú)間》手游中，率先發(fā)布了全球首創(chuàng)的語(yǔ)音AI隊(duì)友玩法。在這個(gè)玩法中，玩家可以邀請(qǐng)智能AI隊(duì)友進(jìn)行一場(chǎng)完整的游戲體驗(yàn)。玩家可以通過(guò)語(yǔ)音交互的方式，直接跟AI進(jìn)行交流。這個(gè)AI隊(duì)友首先能聽(tīng)懂指揮，搜裝送裝、團(tuán)戰(zhàn)配合樣樣精通;其次能實(shí)時(shí)觀察戰(zhàn)況，匯報(bào)關(guān)鍵信息并答疑解惑;此外AI隊(duì)友還具備強(qiáng)大的戰(zhàn)斗能力，博弈強(qiáng)、配合好;最后該AI隊(duì)友還能自由交流，給予玩家較高的情緒價(jià)值。
為了能實(shí)現(xiàn)這個(gè)能聽(tīng)、能說(shuō)還能做的AI隊(duì)友，網(wǎng)易伏羲基于多年的技術(shù)積累，結(jié)合語(yǔ)音識(shí)別、語(yǔ)義理解、文本生成、語(yǔ)音合成、強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)等多項(xiàng)AI技術(shù)，解決了大量的技術(shù)難題。為了實(shí)現(xiàn)跟真人隊(duì)友幾乎無(wú)異的語(yǔ)音交互體驗(yàn)，我們給這個(gè)玩法設(shè)定了幾個(gè)技術(shù)指標(biāo)。
首先相比于喚醒詞或手動(dòng)按鈕觸發(fā)的交互方式，全開麥的實(shí)時(shí)語(yǔ)音交互對(duì)我們提出了更多的技術(shù)挑戰(zhàn)，其中最核心的就是噪音檢測(cè)和非交互內(nèi)容識(shí)別的能力，為了盡可能降低誤觸率，我們使用網(wǎng)易伏羲的有靈眾包平臺(tái)，在開發(fā)期就采用自動(dòng)數(shù)據(jù)閉環(huán)方式，通過(guò)持續(xù)采集各種機(jī)型和項(xiàng)目成員們的真實(shí)體驗(yàn)數(shù)據(jù)，不斷優(yōu)化模型效果。
其次，為了讓AI能夠比較準(zhǔn)確識(shí)別玩家指令并做出最合理的行為決策，我們不僅引入了自然語(yǔ)言理解技術(shù)來(lái)提升指令識(shí)別能力，而且采用了基于指令的強(qiáng)化學(xué)習(xí)技術(shù)，讓模型能夠根據(jù)指令和實(shí)時(shí)的戰(zhàn)場(chǎng)狀態(tài)，做出最合理的行為決策，實(shí)現(xiàn)了盡可能遵循玩家指令的基礎(chǔ)上，又保持較高強(qiáng)度的游戲能力。
最后，為了達(dá)到極低的交互體驗(yàn)速度，我們做了大量的工程優(yōu)化工作。當(dāng)前線上的實(shí)時(shí)響應(yīng)時(shí)長(zhǎng)最短可以實(shí)現(xiàn)300ms內(nèi)的語(yǔ)音和行為響應(yīng)，最長(zhǎng)響應(yīng)時(shí)長(zhǎng)也能控制1s左右，從而實(shí)現(xiàn)了讓交流不延遲，讓配合更及時(shí)。
正如前面提到的，這個(gè)語(yǔ)音AI隊(duì)友玩法對(duì)于時(shí)延非常敏感，為了給用戶帶來(lái)更極 致的交互體驗(yàn)，伏羲跟高通進(jìn)行了深入合作，將部分AI推理從云端GPU遷移到第三代驍龍8移動(dòng)平臺(tái)的NPU上。
為什么我們要去做端側(cè)推理?首先就是低時(shí)延，相比于基于云的推理，端側(cè)推理可以節(jié)省網(wǎng)絡(luò)傳輸帶來(lái)的時(shí)間延遲，特別是對(duì)于一些網(wǎng)絡(luò)條件不太好的地區(qū)的玩家，這部分的時(shí)延降低帶來(lái)的收益是非?？捎^的，從而給這部分玩家?guī)?lái)更好的游戲體驗(yàn)。其次從公司層面來(lái)說(shuō)，AI推理從云端遷移到端側(cè)，可以充分利用玩家的終端算力，降低服務(wù)運(yùn)行成本。我們知道目前云端的GPU服務(wù)都是比較貴的，為了控制成本，很多AI服務(wù)都會(huì)對(duì)應(yīng)用做一些使用限制或讓玩家采用付費(fèi)使用的方式，而端側(cè)推理可以讓這部分玩家自由地體驗(yàn)AI玩法。
當(dāng)前在《永劫無(wú)間》手游的AI隊(duì)友玩法中，網(wǎng)易伏羲跟高通已經(jīng)遷移了部分AI能力到端側(cè)，目前正在做更多深入合作。我們期望未來(lái)可以將更多AI能力，包括大語(yǔ)言模型（LLM），語(yǔ)音合成(TTS)等技術(shù)適配到手機(jī)終端，給玩家們帶來(lái)更好的游戲體驗(yàn)。
（推廣）