11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享。快來騰訊云選購吧!
HuggingFace推出了Cosmopediav0.1,這是最大的開放合成數(shù)據(jù)集,由Mixtral7b生成,包含超過3000萬個樣本,總共約250億個標記tokens。數(shù)據(jù)集旨在通過映射來自網(wǎng)頁數(shù)據(jù)集如RefinedWeb和RedPajama的信息來匯編全球知識,包括教科書、博客文章、故事和WikiHow文章等各種內(nèi)容類型。其目標是通過量身定制提示風(fēng)格和受眾,最大程度地提高多樣性,從顯著減少重復(fù)內(nèi)容。
深度學(xué)習(xí)領(lǐng)域的新技術(shù)近日在HuggingFace的大模型排行榜中嶄露頭角,由UpstageAI提出的深度擴展方法在SOLAR10.7B大模型上取得了令人矚目的成績。該技術(shù)通過創(chuàng)新性地拼接兩個7B羊駝,并采用DUS方法刪除中間層次,使得新模型不僅超越了傳統(tǒng)擴展方法如MoE能與基礎(chǔ)大模型相同的基礎(chǔ)設(shè)施高效集成。這一實際應(yīng)用的反饋證明了該技術(shù)在處理實際數(shù)據(jù)時的優(yōu)越性。
HuggingFace的diffusers輕量快速推理引擎已經(jīng)在GitHub上發(fā)布。這個引擎通過一系列小幅改進,已經(jīng)實現(xiàn)了顯著提高推理速度的目標,宣稱每秒可達到60步,較之前的23步有了顯著提升。stable-fast準備為深度學(xué)習(xí)從業(yè)者的推理優(yōu)化帶來革命性的速度和效率。
AI教育解決方案領(lǐng)導(dǎo)者Riiid宣布,其最新生成式AI模型在知名機器學(xué)習(xí)模型平臺HuggingFace上獲得第一名。HuggingFace開放式大語言模型排名中,Riiid10月提交的最新模型“Sheep-duck-llama-2”獲得了74.07分的高分,在全球500多個開源生成式AI模型中位居榜首。Riiid研究人員將繼續(xù)開發(fā)新的模型架構(gòu),提升AI模型性能,并以實際數(shù)據(jù)驗證學(xué)習(xí)影響,在國際AI會議上發(fā)表論文。
始智AI團隊打造的中立開放AI開源社區(qū)平臺正式上線,旨在打造中國版“HuggingFace”。該社區(qū)匯聚了清華/智譜chatglm2-6B、StableDiffusionV1.5、alphafold2、seamlessm4tlarge等模型,以及shareGPT、ultrachat、moss-sft等數(shù)據(jù)集等資源。始智AI表示,wisemodel.cn平臺目前已經(jīng)完成了基礎(chǔ)的社區(qū)功能,注冊完成之后,在“用戶中心-我的組織”模塊創(chuàng)建組織,可以邀請成員加入到組織內(nèi),之后組織內(nèi)成員都?
要點:鴨嘴獸-70B使用優(yōu)化過的數(shù)據(jù)集Open-Platypus訓(xùn)練,刪除相似和重復(fù)問題。應(yīng)用LoRA和PEFT對模型進行微調(diào),重點優(yōu)化非注意力模塊。如果社會各界能堅持開放創(chuàng)新、合作共贏的理念,我們離強人工智能的到來就不會太遠了。
HuggingFace推出了面向企業(yè)的代碼助手SafeCoder,旨在通過安全的自托管雙人編程解決方案來提高軟件開發(fā)效率。SafeCoder聲稱是一套全面以安全為導(dǎo)向的商業(yè)產(chǎn)品,在模型訓(xùn)練和推理全過程代碼始終保持在VPC內(nèi)。HuggingFace通過SafeCoder為企業(yè)帶來安全可控的代碼生成解決方案。
HuggingFace最近發(fā)布了一款新穎的小型RustML框架|——candle,運行速度極快,支持多種強大模型。它提供了對GPU的支持,并且具有優(yōu)化的CPU后端,可以在瀏覽器中運行。5.輕量級部署:Candle的目標是實現(xiàn)無服務(wù)器推理,生成輕量級二進制文件,可快速部署和執(zhí)行。
【新智元導(dǎo)讀】打「排位賽」的大模型們背后秘密武器曝光!UC伯克利重磅開源神級LLM推理系統(tǒng)——vLLM,利用PagedAttention,比HuggingFace/Transformers快24倍,GPU數(shù)量減半。過去2個月,來自UC伯克利的研究人員給大語言模型們安排了一個擂臺——ChatbotArena。團隊的大部分成員同時也是LMSYS成員。