微軟剛剛宣布了自家翻譯服務(wù)的一項更新，為用戶引入了新的機器學(xué)習(xí)技術(shù)，有望顯著改善多語種之間的翻譯質(zhì)量。具體說來是，基于“備用專家混合”（spare Mixture of Experts）方案的 Project Z-Code 項目，可讓新模型在盲測評估中的得分較以往提升 3~15% 。

（來自：Microsoft Research Blog）

據(jù)悉，Z-code 是微軟更廣泛的 XYZ-Code 計劃的一部分，著眼于結(jié)合多種語言的文本、視覺和音頻模型，以創(chuàng)建更強大、實用的 AI 系統(tǒng)。

雖然“專家組合”并不是一套新穎的技術(shù)，但它在翻譯環(huán)境中還是相當(dāng)實用。該系統(tǒng)的核心，本質(zhì)上是將任務(wù)分解為多個子任務(wù)，然后將之委托給更小、更專業(yè)的所謂“專家”模型。

Z-code MoE 模型示例：從英語翻譯成法語時，可為每個輸入動態(tài)選擇其參數(shù)的子集。

各個模型會根據(jù)自身特性來預(yù)測、并決定將哪個任務(wù)委派給哪個專家，從而極大地簡化了開發(fā)思路。對于普通用戶來說，你可將之視作包含多個更專業(yè)模型的大模型集合。

微軟技術(shù)研究員兼 Azure AI 首席技術(shù)官黃學(xué)東表示：借助 Z-code，我們確實取得了驚人的進步。

我們正在利用遷移學(xué)習(xí)和多任務(wù)學(xué)習(xí)，以從單語言和多語種數(shù)據(jù)中創(chuàng)建一個極具質(zhì)量和性能的最佳組合。

最終帶來一個最先進的語言模型，并為客戶帶來高效的體驗。

結(jié)果是，我們看到了一套全新的系統(tǒng)，現(xiàn)能夠直接在 10 種語言之間進行翻譯，從而消除了對多個系統(tǒng)的需求。

此外微軟最近還開始使用 Z-code 模型來改進其 AI 系統(tǒng)的其它功能，包括實體識別、文本摘要、自定義文本分類、以及關(guān)鍵詞提取，但將其用到自家翻譯服務(wù)上還是首次。

傳統(tǒng)意義上的翻譯模型相當(dāng)笨拙，因而很難將其帶入生產(chǎn)環(huán)境。不過微軟團隊選擇了一套“稀疏”方案 —— 僅激活每個任務(wù)的少量模型參數(shù)、而不是動輒調(diào)用整個系統(tǒng)。

這使得模型的運行更具成本效益，就像僅在冬日里為最常用的時段和空間提供室內(nèi)加熱一樣經(jīng)濟高效，而無需讓暖爐一直保持全速運轉(zhuǎn)。

（舉報）