站長之家(ChinaZ.com) 3月29日 消息:AI21發(fā)布了世界首個Mamba的生產(chǎn)級模型:Jamba。這個模型采用了開創(chuàng)性的SSM-Transformer架構(gòu)，具有52B參數(shù)，其中12B在生成時處于活動狀態(tài)。Jamba結(jié)合了Joint Attention和Mamba技術(shù)，支持256K上下文長度。單個A10080GB最多可容納140K上下文。與Mixtral8x7B相比，長上下文的吞吐量提高了3倍。
官網(wǎng)：https://top.aibase.com/tool/jamba
模型地址：https://huggingface.co/ai21labs/Jamba-v0.1
Jamba代表了在模型設(shè)計上的一大創(chuàng)新。它結(jié)合了Mamba結(jié)構(gòu)化狀態(tài)空間（SSM）技術(shù)和傳統(tǒng)的Transformer架構(gòu)的元素，彌補(bǔ)了純SSM模型固有的局限。Mamba是一種結(jié)構(gòu)化狀態(tài)空間模型(Structured State Space Model， SSM)，這是一種用于捕捉和處理數(shù)據(jù)隨時間變化的模型，特別適合處理序列數(shù)據(jù)，如文本或時間序列數(shù)據(jù)。SSM模型的一個關(guān)鍵優(yōu)勢是其能夠高效地處理長序列數(shù)據(jù)，但它在處理復(fù)雜模式和依賴時可能不如其他模型強(qiáng)大。
而Transformer架構(gòu)是近年來人工智能領(lǐng)域最為成功的模型之一，特別是在自然語言處理（NLP）任務(wù)中。它能夠非常有效地處理和理解語言數(shù)據(jù)，捕捉長距離的依賴關(guān)系，但處理長序列數(shù)據(jù)時會遇到計算效率和內(nèi)存消耗的問題。
Jamba模型將Mamba的SSM技術(shù)和Transformer架構(gòu)的元素結(jié)合起來，旨在發(fā)揮兩者的優(yōu)勢，同時克服它們各自的局限。通過這種結(jié)合，Jamba不僅能夠高效處理長序列數(shù)據(jù)（這是Mamba的強(qiáng)項），還能保持對復(fù)雜語言模式和依賴關(guān)系的高度理解(這是Transformer的優(yōu)勢)。這意味著Jamba模型在處理需要理解大量文本和復(fù)雜依賴關(guān)系的任務(wù)時，既能保持高效率，又不會犧牲性能或精度。
（舉報）