就連「量化」也不管用,scaling law真的要終結(jié)了嗎?一提scaling law,人們重點關(guān)注的是參數(shù)規(guī)模、數(shù)據(jù)量等因素,卻忽視了「精度」這一關(guān)鍵變量。哈佛斯坦福MIT等機構(gòu)研究人員竟發(fā)現(xiàn),低精度訓(xùn)練會降低模型的「有效參數(shù)量」!對此,他們提出了「精度感知(precision-aware)」scali
......
本文由站長之家合作伙伴自媒體作者“?新智元公眾號”授權(quán)發(fā)布于站長之家平臺,本平臺僅提供信息索引服務(wù)。由于內(nèi)容發(fā)布時間超過平臺更新維護(hù)時間,為了保證文章信息的及時性,內(nèi)容觀點的準(zhǔn)確性,平臺將不提供完全的內(nèi)容展現(xiàn),本頁面內(nèi)容僅為平臺搜索索引使用。需閱讀完整內(nèi)容的用戶,請查看原文,獲取內(nèi)容詳情。
(舉報)