站長之家（ChinaZ.com）11月15日 消息:在大型語言模型（LLM）的領(lǐng)域，OpenAI的ChatGPT因其卓越性能和廣泛應(yīng)用而引起轟動(dòng)，成為矚目的焦點(diǎn)。然而，在ChatGPT之前的兩周，Meta發(fā)布了Galactica，一款試用版模型。Galactica在豐富的科學(xué)語料庫上進(jìn)行訓(xùn)練，包括4800萬篇論文、教科書、化合物和蛋白質(zhì)知識，但僅上線不到三天就被下線，因?yàn)樯傻奈谋静粐?yán)謹(jǐn)且存在幻覺問題。
Galactica被認(rèn)為是大型語言模型的早期嘗試，但其下線引起了Yann LeCun等人的關(guān)注。LeCun表示對Galactica的下線感到遺憾，并認(rèn)為對其批評過于嚴(yán)厲。這一事件與最近LeCun與Geoffrey Hinton關(guān)于AI監(jiān)管的辯論相呼應(yīng)，LeCun警告說，過于強(qiáng)調(diào)人工智能道德可能會(huì)適得其反。
Meta公司AI研究副總裁Joelle Pineau在采訪中強(qiáng)調(diào)，Galactica本質(zhì)上是一個(gè)研究項(xiàng)目而非產(chǎn)品。盡管下線，但Galactica的經(jīng)驗(yàn)教訓(xùn)對Meta后續(xù)的LLaMA項(xiàng)目產(chǎn)生了積極影響。Pineau表示，他們從Galactica的發(fā)布中學(xué)到了很多經(jīng)驗(yàn)教訓(xùn)，并將這些教訓(xùn)應(yīng)用于后續(xù)的LLaMA2項(xiàng)目。
VentureBeat的Sharon Goldman詳細(xì)講述了Galactica給Meta帶來的教訓(xùn)。Galactica的第一作者Ross Taylor也在推特上發(fā)文，指出Galactica在發(fā)布時(shí)由于人手稀缺未對基礎(chǔ)模型進(jìn)行充分檢查，導(dǎo)致了一些問題。然而，Taylor強(qiáng)調(diào)他們的研究仍然有價(jià)值，并且從Galactica的經(jīng)驗(yàn)中學(xué)到的教訓(xùn)已經(jīng)用到了后續(xù)的LLaMA2項(xiàng)目中。
（舉報(bào)）