站長之家（ChinaZ.com）5月13日 消息:Refuel AI 最近宣布推出兩個新版本的大型語言模型（LLM），RefuelLLM-2和 RefuelLLM-2-small，這兩個模型專為數(shù)據(jù)標(biāo)注、清洗和豐富任務(wù)而設(shè)計，旨在提高處理大規(guī)模數(shù)據(jù)集的效率。
RefuelLLM-2的主要特點包括:
自動化數(shù)據(jù)標(biāo)注:能夠自動識別和標(biāo)記數(shù)據(jù)中的關(guān)鍵信息，如分類數(shù)據(jù)和解析特定屬性。
數(shù)據(jù)清洗:自動檢測并修正數(shù)據(jù)中的錯誤或不一致性，例如拼寫錯誤和格式問題。
數(shù)據(jù)豐富:根據(jù)現(xiàn)有數(shù)據(jù)自動補充缺失信息或提供額外上下文，增加數(shù)據(jù)的價值和可用性。
高準(zhǔn)確率:在約30項數(shù)據(jù)標(biāo)注任務(wù)的基準(zhǔn)測試中，RefuelLLM-2以83.82%的準(zhǔn)確率優(yōu)于所有其他最先進的大型語言模型，包括 GPT-4-Turbo 和 Claude-3-Opus。
兩款模型的比較:
RefuelLLM-2:基于 Mixtral-8x7B 模型，支持高達32K的最大輸入上下文長度，適合處理長文本輸入。
RefuelLLM-2-small:基于 Llama3-8B 模型，提供一個成本更低、運行更快的選項，同時保持高性能，支持高達8K的輸入上下文長度。
訓(xùn)練細(xì)節(jié):
兩款模型都在超過2750個數(shù)據(jù)集上進行訓(xùn)練，涵蓋分類、閱讀理解、結(jié)構(gòu)化屬性提取和實體解析等任務(wù)。
訓(xùn)練方法:包括兩個階段，第一階段專注于指令調(diào)整訓(xùn)練，第二階段則加入更長上下文的輸入，以提高模型在復(fù)雜數(shù)據(jù)處理任務(wù)中的表現(xiàn)。
性能提升:
- 兩階段訓(xùn)練方法使得 RefuelLLM-2在基本數(shù)據(jù)處理任務(wù)中表現(xiàn)出色，并能有效處理長上下文輸入。
質(zhì)量評估:
在長上下文數(shù)據(jù)集和非公開數(shù)據(jù)集的評估中，RefuelLLM-2和 RefuelLLM-2-small 均展現(xiàn)出良好的性能和泛化能力。
在置信度分?jǐn)?shù)質(zhì)量方面，RefuelLLM-2和 RefuelLLM-2-small 顯示出比其他模型更好的置信度分?jǐn)?shù)校準(zhǔn)。
Refuel AI 的這一創(chuàng)新為數(shù)據(jù)標(biāo)注和清洗領(lǐng)域帶來了新的解決方案，有助于自動化和優(yōu)化大規(guī)模數(shù)據(jù)處理流程。
playground:https://labs.refuel.ai/playground
模型下載:https://huggingface.co/refuelai/Llama-3-Refueled
（舉報）