站長(zhǎng)之家(ChinaZ.com)12月19日 消息:美國(guó)芯片初創(chuàng)公司Etched AI近日宣稱(chēng),他們成功開(kāi)創(chuàng)了一項(xiàng)新的技術(shù),將Transformer架構(gòu)直接“燒錄”到了芯片中,創(chuàng)造出了世界上最強(qiáng)大的專(zhuān)門(mén)用于Transformer推理的服務(wù)器Sohu。據(jù)稱(chēng),這項(xiàng)技術(shù)可以運(yùn)行萬(wàn)億參數(shù)的模型,甩英偉達(dá)幾百條街。
官網(wǎng)地址:https://www.etched.ai/
該服務(wù)器具有多項(xiàng)功能,包括實(shí)時(shí)語(yǔ)音代理,能夠在毫秒內(nèi)處理成千上萬(wàn)的詞;更好的編碼與樹(shù)搜索能力,可以并行比較數(shù)百個(gè)響應(yīng);多播推測(cè)解碼功能,實(shí)時(shí)生成新內(nèi)容;支持未來(lái)的萬(wàn)億參數(shù)模型,只需一個(gè)核心,支持全開(kāi)源軟件棧,可擴(kuò)展至100T參數(shù)模型;還具備高級(jí)解碼技術(shù),包括光束搜索和MCTS解碼。
此外,每個(gè)芯片還配備了144GB HBM3E,支持MoE和轉(zhuǎn)換器變體,為服務(wù)器的高性能提供了有力支持。這一突破性技術(shù)的問(wèn)世,將為T(mén)ransformer架構(gòu)的應(yīng)用帶來(lái)新的可能性。
(舉報(bào))