站長之家（ChinaZ.com）6月14日 消息:隨著越來越多的人使用 AI 來制作和發(fā)布內(nèi)容，一個(gè)明顯的問題出現(xiàn)了:當(dāng) AI 生成的內(nèi)容在互聯(lián)網(wǎng)上激增并且 AI 模型開始使用AI生成的內(nèi)容進(jìn)行訓(xùn)練，會(huì)發(fā)生什么?

來自英國和加拿大的一組研究人員已經(jīng)研究了這個(gè)問題，并且最近在開放獲取期刊 arXiv 上發(fā)表了一篇相關(guān)論文。他們的發(fā)現(xiàn)令當(dāng)前的生成式 AI 技術(shù)及其未來令人擔(dān)憂:“我們發(fā)現(xiàn)在訓(xùn)練中使用模型生成的內(nèi)容會(huì)導(dǎo)致生成的模型出現(xiàn)不可逆轉(zhuǎn)的缺陷?！?/p>

研究人員專門研究了文本到文本和圖像到圖像 AI 生成模型的概率分布，得出結(jié)論:“從其他模型生成的數(shù)據(jù)中學(xué)習(xí)會(huì)導(dǎo)致模型崩潰——一個(gè)退化過程，隨著時(shí)間的推移，模型會(huì)忘記真正的底層數(shù)據(jù)分布……這個(gè)過程是不可避免的，即使對于具有近乎理想的長期學(xué)習(xí)條件的情況也是如此?！?/p>

“隨著時(shí)間的推移，生成數(shù)據(jù)中的錯(cuò)誤會(huì)復(fù)合并最終迫使從生成數(shù)據(jù)中學(xué)習(xí)的模型進(jìn)一步錯(cuò)誤地感知現(xiàn)實(shí)，我們驚訝地觀察到模型崩潰發(fā)生的速度有多快:模型可以迅速忘記他們最初從中學(xué)習(xí)的大部分原始數(shù)據(jù)。”該論文的主要作者之一 Ilia Shumailov解釋道。

換句話說:當(dāng) AI 訓(xùn)練模型接觸到更多 AI 生成的數(shù)據(jù)時(shí)，它的性能會(huì)隨著時(shí)間的推移而變差，在其生成的響應(yīng)和內(nèi)容中產(chǎn)生更多錯(cuò)誤，并在其響應(yīng)中產(chǎn)生更少的非錯(cuò)誤多樣性。

“模型崩潰”是如何發(fā)生的

本質(zhì)上，當(dāng) AI 模型生成的數(shù)據(jù)最終污染了后續(xù)模型的訓(xùn)練集時(shí)，就會(huì)發(fā)生模型崩潰。

Shumailov 通過一個(gè)假設(shè)場景說明了這個(gè)問題，其中機(jī)器學(xué)習(xí)模型在包含100只貓的圖片的數(shù)據(jù)集上進(jìn)行訓(xùn)練——其中10只貓的皮毛是藍(lán)色的，90只貓的皮毛是黃色的。該模型了解到黃貓更普遍，被要求生成新數(shù)據(jù)時(shí)返回一些綠貓結(jié)果。隨著時(shí)間的推移，藍(lán)色毛皮的原始特征會(huì)在連續(xù)的訓(xùn)練周期中逐漸消失，從藍(lán)色變成綠色，最后變成黃色。這種漸進(jìn)的扭曲和少數(shù)數(shù)據(jù)特征的最終丟失就是模型崩潰。為防止這種情況，重要的是要確保少數(shù)群體在數(shù)據(jù)集中的公平代表性，無論是在數(shù)量上還是在對獨(dú)特特征的準(zhǔn)確描述方面。

AI 生成數(shù)據(jù)的這種“污染”導(dǎo)致模型對現(xiàn)實(shí)產(chǎn)生了扭曲的感知。即使研究人員訓(xùn)練模型不要產(chǎn)生過多的重復(fù)響應(yīng)，他們發(fā)現(xiàn)模型崩潰仍然會(huì)發(fā)生，因?yàn)槟Ｐ蜁?huì)開始編造錯(cuò)誤的響應(yīng)以避免過于頻繁地重復(fù)數(shù)據(jù)。

“還有許多其他方面會(huì)導(dǎo)致更嚴(yán)重的影響，例如基于性別、種族或其他敏感屬性的歧視，”Shumailov 說，特別是如果生成式人工智能隨著時(shí)間的推移學(xué)會(huì)在其反應(yīng)中產(chǎn)生一個(gè)種族，而“忘記”他人存在。

重要的是要注意，這種現(xiàn)象不同于“災(zāi)難性遺忘”，模型會(huì)丟失以前學(xué)到的信息。相比之下，模型崩潰涉及模型根據(jù)他們強(qiáng)化的信念誤解現(xiàn)實(shí)。

這篇論文背后的研究人員發(fā)現(xiàn)，即使10% 的原始人類創(chuàng)作數(shù)據(jù)被用來訓(xùn)練后代的模型，“模型崩潰仍然會(huì)發(fā)生，只是不會(huì)那么快”Shumailov說道。

幸運(yùn)的是，即使使用現(xiàn)有的轉(zhuǎn)換器和 LLM，也有一些方法可以避免模型崩潰。

研究人員強(qiáng)調(diào)了兩種具體方式。第一個(gè)是保留原始的完全或名義上由人工生成的數(shù)據(jù)集的副本，并避免與 AI 生成的數(shù)據(jù)相混淆。然后，模型可以根據(jù)這些數(shù)據(jù)定期重新訓(xùn)練，或者從頭開始用它完全刷新。

避免響應(yīng)質(zhì)量下降并減少 AI 模型中不需要的錯(cuò)誤或重復(fù)的第二種方法是將新的、干凈的、人類生成的數(shù)據(jù)集重新引入到他們的訓(xùn)練中。

然而，正如研究人員指出的那樣，這需要內(nèi)容制作者或人工智能公司采用某種大規(guī)模標(biāo)簽機(jī)制或努力來區(qū)分人工智能生成的內(nèi)容和人類生成的內(nèi)容。

“為了阻止模型崩潰，我們需要確保原始數(shù)據(jù)中的少數(shù)群體在后續(xù)數(shù)據(jù)集中得到公平的代表，”Shumailov 說道。

這些發(fā)現(xiàn)對人工智能領(lǐng)域具有重要意義，強(qiáng)調(diào)需要改進(jìn)方法以隨著時(shí)間的推移保持生成模型的完整性。他們強(qiáng)調(diào)了未經(jīng)檢查的生成過程的風(fēng)險(xiǎn)，并可能指導(dǎo)未來的研究制定策略來防止或管理模型崩潰。

很明顯，模型崩潰是 ML 的一個(gè)問題，必須采取一些措施來確保生成 AI 繼續(xù)改進(jìn)。

（舉報(bào)）