站長之家(ChinaZ.com)10月30日 消息:在近日的第二十屆中國計(jì)算機(jī)大會(huì)上,百度首席技術(shù)官王海峰表示,百度在3月16日發(fā)布知識(shí)增強(qiáng)大語言模型文心一言,目前文心一言的基礎(chǔ)模型已迭代到文心大模型4.0版本。知識(shí)增強(qiáng)大語言模型從數(shù)萬億數(shù)據(jù)和數(shù)千億知識(shí)中融合學(xué)習(xí),得到預(yù)訓(xùn)練大模型,在此基礎(chǔ)上采用有監(jiān)督精調(diào)、人類反饋強(qiáng)化學(xué)習(xí)、提示等技術(shù),具備知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話增強(qiáng)的技術(shù)優(yōu)勢(shì)。
王海峰表示,基于更強(qiáng)平臺(tái)、更優(yōu)數(shù)據(jù)、更好算法,我們訓(xùn)練出規(guī)模更大、效果更好的文心大模型4.0。通過飛槳與文心的協(xié)同優(yōu)化,模型周均訓(xùn)練有效率超過98%,訓(xùn)練算法效率提升3.6倍,推理性能提升50倍。文心4.0的理解、生成、邏輯、記憶四大能力顯著提升,其中理解和生成能力的提升幅度相近,而邏輯和記憶能力的提升則更大,邏輯的提升幅度達(dá)到理解的近3倍,記憶的提升幅度也達(dá)到了理解的2倍多。
公開數(shù)據(jù)顯示,文心一言面向全社會(huì)開放一個(gè)多月,用戶規(guī)模達(dá)到4500萬,開發(fā)者5.4萬,場(chǎng)景4300個(gè),應(yīng)用825個(gè),插件超過500個(gè)。飛槳和文心生態(tài)愈加繁榮,已凝聚800萬開發(fā)者,服務(wù)22萬家企事業(yè)單位,基于飛槳?jiǎng)?chuàng)建了80萬個(gè)模型。
(舉報(bào))