劃重點:

?? AI 模型訓(xùn)練數(shù)據(jù)的重要性越來越顯著，使得除了最富有的科技公司外，其他公司難以承擔(dān)成本。

?? 數(shù)據(jù)采集與整理對生成式 AI 的改進(jìn)至關(guān)重要，這為大型科技公司帶來了競爭優(yōu)勢。

?? 盡管一些非營利組織正在嘗試開放式數(shù)據(jù)集的創(chuàng)建，但大型科技巨頭仍占據(jù)著 AI 訓(xùn)練數(shù)據(jù)市場的主導(dǎo)地位。

站長之家（ChinaZ.com）6月3日 消息:AI 的發(fā)展離不開數(shù)據(jù)，而這種數(shù)據(jù)的成本越來越高，這使得除了最富有的科技公司外，其他公司難以承擔(dān)這一成本。根據(jù)去年 OpenAI 的研究人員 James Betker 的文章，AI 模型的訓(xùn)練數(shù)據(jù)是決定模型能力的關(guān)鍵因素。傳統(tǒng)的 AI 系統(tǒng)主要是基于統(tǒng)計機器，通過大量示例來猜測最 “合理” 的數(shù)據(jù)分布，因此模型所依賴的數(shù)據(jù)量越大，性能就越好。

AI 研究非營利機構(gòu) AI2的高級研究科學(xué)家 Kyle Lo 指出，Meta 的 Llama3模型在數(shù)據(jù)量方面明顯優(yōu)于 AI2的 OLMo 模型，這解釋了其在許多流行 AI 基準(zhǔn)測試中的優(yōu)勢。然而，并不是數(shù)據(jù)量越大，模型性能就會線性提升，數(shù)據(jù)質(zhì)量和整理同樣重要，有時甚至比數(shù)量更重要。一些 AI 模型是通過讓人類標(biāo)注數(shù)據(jù)來進(jìn)行訓(xùn)練的，質(zhì)量較高的標(biāo)注對模型性能有巨大影響。

然而，Lo 等專家擔(dān)心，對大型、高質(zhì)量訓(xùn)練數(shù)據(jù)集的需求將 AI 發(fā)展集中在少數(shù)具備數(shù)十億美元預(yù)算的公司手中。盡管一些非法甚至犯罪行為可能會對數(shù)據(jù)獲取方式提出質(zhì)疑，但技術(shù)巨頭憑借資金實力能夠獲取數(shù)據(jù)許可。這些數(shù)據(jù)交易的過程并未促進(jìn)一個公平開放的生成式 AI 生態(tài)系統(tǒng)，讓整個 AI 研究社區(qū)備受其害。

一些獨立、非營利性的組織嘗試開放大規(guī)模數(shù)據(jù)集，如 EleutherAI 和 Hugging Face，但它們是否能趕上大型科技公司的步伐仍是一個未知數(shù)。只有當(dāng)研究突破技術(shù)壁壘，數(shù)據(jù)收集和整理成本不再是問題時，這些開放性的數(shù)據(jù)集才有希望與科技巨頭競爭。

（舉報）