11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買(mǎi)1年送3個(gè)月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享??靵?lái)騰訊云選購(gòu)吧!
OpenLM是一個(gè)旨在訓(xùn)練中等規(guī)模語(yǔ)言模型的PyTorch代碼庫(kù),它強(qiáng)調(diào)了最大化GPU利用率和訓(xùn)練速度的設(shè)計(jì)。該庫(kù)已經(jīng)通過(guò)訓(xùn)練OpenLM-1B和OpenLM-7B兩個(gè)語(yǔ)言模型,分別在1.6T和1.25T的文本標(biāo)記上進(jìn)行驗(yàn)證,取得了令人矚目的成果。OpenLM的團(tuán)隊(duì)成員和致謝也在文章中列出,表明了該項(xiàng)目的合作性質(zhì)和開(kāi)源精神。