站長之家(ChinaZ.com) 9月28日 消息:智源研究院發(fā)布了 FlagPerf v1.0，這是一個(gè)開源開放的 AI 硬件評(píng)測引擎。
FlagPerf 的評(píng)測指標(biāo)體系包括功能正確性指標(biāo)、性能指標(biāo)、資源使用指標(biāo)和生態(tài)適配指標(biāo)。其中，功能正確性指標(biāo)驗(yàn)證芯片對(duì)模型運(yùn)行的支持，性能指標(biāo)評(píng)估芯片的訓(xùn)練時(shí)間和計(jì)算吞吐量，資源使用指標(biāo)衡量芯片和服務(wù)器其他零部件的使用情況，生態(tài)適配指標(biāo)考察芯片對(duì)不同框架和軟件生態(tài)的支持能力。
FlagPerf 已經(jīng)涵蓋了自然語言處理、計(jì)算機(jī)視覺、語音和多模態(tài)等領(lǐng)域的20余個(gè)經(jīng)典模型，50余個(gè)訓(xùn)練樣例，并與多家 AI 軟硬件廠商進(jìn)行深度合作，完成了與不同芯片和框架的適配和評(píng)測。
此外，F(xiàn)lagPerf 還支持多樣例場景和任務(wù)，覆蓋大模型訓(xùn)練推理場景。它不僅支持多種訓(xùn)練框架和推理引擎，還支持多種測試環(huán)境，包括單卡、單機(jī)和多機(jī)，以全面評(píng)估 AI 芯片的性能和適用性。
在評(píng)測過程中，F(xiàn)lagPerf 嚴(yán)格審核參評(píng)代碼，確保結(jié)果公平、過程公正。所有測試代碼都已開源，測試過程和數(shù)據(jù)可復(fù)現(xiàn)。
FlagPerf 開源項(xiàng)目:https://github.com/FlagOpen/FlagPerf
（舉報(bào)）