11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享。快來騰訊云選購吧!
今天凌晨3點(diǎn),全球社交巨頭Meta分享了一個創(chuàng)新研究——Memorylayers。Transformer架構(gòu)的預(yù)訓(xùn)練大模型在存儲、查詢數(shù)據(jù)時,隨著參數(shù)的變大對算力的需求呈指數(shù)級增長。這樣的設(shè)計既簡化了維護(hù)流程,又提高了系統(tǒng)的靈活性和適應(yīng)性。
上海巖芯數(shù)智人工智能科技有限公司的Yan架構(gòu)大模型成功通過《生成式人工智能服務(wù)管理暫行辦法》備案,這是國內(nèi)首個非Transformer架構(gòu)大模型通過備案。Yan模型簡介Yan架構(gòu)大模型是國內(nèi)首個非Transformer架構(gòu)、非Attention機(jī)制的大模型。Yan架構(gòu)大模型的備案通過是RockAI踐行使命的重要里程碑,未來,我們期待Yan架構(gòu)大模型在更多設(shè)備單元部署應(yīng)用,讓群體智能引領(lǐng)走向通用人工智能,與合作伙伴一起,領(lǐng)先一步開拓更加廣闊的市場空間。
谷歌終于更新了Transformer架構(gòu)。最新發(fā)布的Mixture-of-Depths,改變了以往Transformer計算模式。這篇論文目前被引次數(shù)超過3500次,論文核心定義了Inductivebias概念。
SnapVideo是一個視頻優(yōu)先的模型,通過延伸EDM框架系統(tǒng)地解決視頻生成領(lǐng)域的挑戰(zhàn),如運(yùn)動保真度、視覺質(zhì)量和可擴(kuò)展性。該模型利用幀間的冗余信息,提出了一個可伸縮的transformer架構(gòu),將空間和時間維度作為一個高度壓縮的1D潛在向量,從有效地進(jìn)行空間時間聯(lián)合建模,合成時間連貫性強(qiáng)、運(yùn)動復(fù)雜的視頻。現(xiàn)在就訪問SnapVideo官方網(wǎng)站,體驗(yàn)視頻合成Transformer架構(gòu)的引領(lǐng)技術(shù)?
靈活視覺變換器是一種全新的Transformer架構(gòu)圖像生成模型,專門設(shè)計用于創(chuàng)造沒有分辨率和寬高比限制的圖像。相較于傳統(tǒng)將圖像視為固定分辨率網(wǎng)格的方法,F(xiàn)iT將圖像視為一系列可變大小的圖像塊。FiT的問世將為圖像生成領(lǐng)域帶來新的可能性,為用戶提供更加靈活多樣的圖像生成體驗(yàn)。
美國芯片初創(chuàng)公司EtchedAI近日宣稱,他們成功開創(chuàng)了一項新的技術(shù),將Transformer架構(gòu)直接“燒錄”到了芯片中,創(chuàng)造出了世界上最強(qiáng)大的專門用于Transformer推理的服務(wù)器Sohu。這項技術(shù)可以運(yùn)行萬億參數(shù)的模型,甩英偉達(dá)幾百條街。這一突破性技術(shù)的問世,將為Transformer架構(gòu)的應(yīng)用帶來新的可能性。
Meta的研究者發(fā)表了一項關(guān)于Transformer架構(gòu)的新研究,提出了一種名為System2Attention的全新注意力機(jī)制。該研究旨在解決大型語言模型在推理能力上的不足,特別是在處理復(fù)雜任務(wù)時可能出現(xiàn)的錯誤。S2A的引入為解決當(dāng)前LLM推理能力不足的問題提供了一種創(chuàng)新性的解決方案。