站長之家(ChinaZ.com) 2月27日 消息:3D-Speaker 是通義實驗室語音團隊貢獻(xiàn)的一個開源項目，結(jié)合了聲學(xué)、語義、視覺三維模態(tài)信息來解決說話人任務(wù)。

項目涵蓋了說話人日志、說話人識別和語種識別任務(wù)，提供了工業(yè)級模型、訓(xùn)練代碼和推理代碼。同時還開源了研究數(shù)據(jù)集3D-Speaker dataset，包含了多設(shè)備、多距離和多方言的音頻數(shù)據(jù)和文本，適用于高挑戰(zhàn)性的語音研究。

1. 結(jié)合視覺信息的說話人日志技術(shù):

- 在復(fù)雜聲學(xué)環(huán)境中，引入視覺信息可以提升說話人識別能力。

- 系統(tǒng)包括聲學(xué)和視覺模態(tài)識別路線，通過聯(lián)合多模態(tài)聚類得到最終識別結(jié)果。

2. 結(jié)合語義信息的說話人日志技術(shù):

- 將說話人日志任務(wù)從傳統(tǒng)的音頻切割轉(zhuǎn)為對文本內(nèi)容進行說話人區(qū)分。

- 提出了對話預(yù)測和說話人轉(zhuǎn)換預(yù)測模塊，基于 Bert 模型，用于提取語義中說話人信息。

3. 基于經(jīng)典聲學(xué)信息的說話人和語種識別:

- 包含全監(jiān)督和自監(jiān)督說話人識別模型，支持多種數(shù)據(jù)增強、多模型訓(xùn)練和多損失函數(shù)。

- 提供一鍵式訓(xùn)練推理，支持多種經(jīng)典模型，并提供有效的學(xué)習(xí)率調(diào)節(jié)方案和 margin 變換值。

3D-Speaker 項目在說話人任務(wù)中探索了多模態(tài)信息的結(jié)合應(yīng)用，提供了一系列有效的技術(shù)解決方案和開源資源，為語音研究領(lǐng)域的發(fā)展做出了貢獻(xiàn)。

開源代碼鏈接:

https://github.com/alibaba-damo-academy/3D-Speaker/blob/main/egs/3dspeaker/speaker-diarization/run_video.sh

（舉報）