11.11云上盛惠!海量產品 · 輕松上云!云服務器首年1.8折起,買1年送3個月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享??靵眚v訊云選購吧!
近日,摩爾線程上線了大語言模型高速推理框架開源項目vLLM的MUSA移植版本,為開發(fā)者提供基于摩爾線程全功能GPU進行開源項目MUSA移植的范例。摩爾線程表示,正努力圍繞自主研發(fā)的統(tǒng)一系統(tǒng)架構GPU、MUSA軟件平臺,構建完善好用的MUSA應用生態(tài)。摩爾線程通過MUSA軟件棧對CUDA軟件棧接口兼容,大幅提升了應用移植的效率,縮短了開發(fā)周期提供MUSIFY自動代碼移植工具等一系列實用工具和腳本。
魔搭社區(qū)與vLLM和FastChat展開合作,聯(lián)合為中國開發(fā)者提供更快更高效的LLM推理和部署服務。開發(fā)者可以使用vLLM作為FastChat中的推理引擎,提供高吞吐量的模型推理。還可以結合FastChat和vLLM搭建一個網頁Demo或者類OpenAIAPI服務器。
大語言模型在改變人們的生活和職業(yè)方面影響越來越大,因為它們實現(xiàn)了編程助手和通用聊天機器人等新應用。這些應用的運行需要大量硬件加速器如GPU,操作成本非常高。更大的模型、更復雜的解碼算法和更長的序列會導致更明顯的改進。