劃重點(diǎn):

?? RHO-1方法通過選擇性語言建模，專注訓(xùn)練與所需分布一致的有用token。

?? RHO-1的 SLM 方法可顯著提高數(shù)學(xué)任務(wù)的準(zhǔn)確性，表現(xiàn)優(yōu)異于傳統(tǒng)訓(xùn)練方法。

?? 未來工作包括將 SLM 推廣至其他領(lǐng)域，提高可擴(kuò)展性，探索多個(gè)參考模型減少過擬合等。

站長之家（ChinaZ.com）4月12日 消息:微軟研究人員挑戰(zhàn)了語言模型(LM)預(yù)訓(xùn)練的傳統(tǒng)方法，該方法在訓(xùn)練語料庫中的所有token上均勻應(yīng)用下一個(gè)token預(yù)測(cè)損失。相反，他們提出了一種新的語言模型稱為 RHO-1，該模型利用選擇性語言建模(SLM)。

RHO-1方法通過選擇性訓(xùn)練與所需分布一致的有用token，而不是嘗試預(yù)測(cè)每一個(gè)下一個(gè)token。他們引入了 Rho-Math-v0.1模型，其中 Rho-Math-1B 和 Rho-Math-7B 在 MATH 數(shù)據(jù)集上分別實(shí)現(xiàn)了15.6% 和31.0% 的少樣本準(zhǔn)確率，僅使用預(yù)訓(xùn)練token的3% 與 DeepSeekMath 相匹配。

Rho-Math-1B-Interpreter 是第一個(gè)在 MATH 數(shù)據(jù)集上實(shí)現(xiàn)超過40% 準(zhǔn)確率的1B LLM。

Rho-Math-7B-Interpreter 在 MATH 數(shù)據(jù)集上實(shí)現(xiàn)52% 的準(zhǔn)確率，僅使用69k 個(gè)樣本進(jìn)行微調(diào)。

RHO-1的 SLM 方法涉及使用參考模型對(duì)預(yù)訓(xùn)練token進(jìn)行評(píng)分，并使用更加專注的損失對(duì)具有更高多余損失的token進(jìn)行語言模型訓(xùn)練。這種選擇性過程使 RHO-1能夠在持續(xù)預(yù)訓(xùn)練15B OpenWebMath 語料庫時(shí)，將9個(gè)數(shù)學(xué)任務(wù)的少樣本準(zhǔn)確率提高高達(dá)30%。

該模型在微調(diào)后在 MATH 數(shù)據(jù)集上實(shí)現(xiàn)了最先進(jìn)的結(jié)果，并且在80B 通用token預(yù)訓(xùn)練時(shí)，在15個(gè)不同任務(wù)中平均提升了6.8%。

傳統(tǒng)的訓(xùn)練方法通常使用啟發(fā)式和分類器在文檔級(jí)別上過濾數(shù)據(jù)，以提高數(shù)據(jù)質(zhì)量和模型性能。然而，即使高質(zhì)量的數(shù)據(jù)集可能包含對(duì)訓(xùn)練產(chǎn)生負(fù)面影響的嘈雜token。

SLM 方法直接解決了這個(gè)問題，通過專注于token級(jí)別，并在預(yù)訓(xùn)練期間消除不需要的token損失。

在研究中，SLM 在預(yù)訓(xùn)練期間選擇的token與數(shù)學(xué)相關(guān)，有效地調(diào)整了模型對(duì)原始語料庫的相關(guān)部分。研究人員在各個(gè)檢查點(diǎn)中調(diào)查了token過濾，發(fā)現(xiàn)后續(xù)檢查點(diǎn)選擇的token傾向于在訓(xùn)練的后期具有更高的困惑度，并在早期具有更低的困惑度。

討論部分強(qiáng)調(diào)了未來的工作，包括將 SLM 推廣至數(shù)學(xué)領(lǐng)域以外的領(lǐng)域，將該技術(shù)擴(kuò)展至更大的模型和數(shù)據(jù)集，以及探索在評(píng)分token時(shí)是否需要訓(xùn)練參考模型。

對(duì) SLM 的改進(jìn)可能包括重新加權(quán)token而不是選擇它們，以及使用多個(gè)參考模型減少過擬合。

SLM 可以擴(kuò)展到監(jiān)督微調(diào)，以解決數(shù)據(jù)集中的噪聲和分布不匹配，并通過訓(xùn)練一個(gè)強(qiáng)調(diào)幫助性、真實(shí)性和無害性的參考模型來獲得在預(yù)訓(xùn)練期間獲得本地對(duì)齊的基本模型。

rho:https://github.com/microsoft/rho

（舉報(bào)）