站長之家(ChinaZ.com)12月20日 消息:VOODOO3D是一項可以將一個人的表情和動作精準(zhǔn)地復(fù)制到另一個人的3D模型上的技術(shù)。
這項技術(shù)使得虛擬的3D人物模型能夠模仿真實人的表情和頭部動作,而且是實時的。通過攝像頭輸入,當(dāng)真人改變表情或頭部姿勢時,3D模型也會立即做出相同的反應(yīng)。
項目地址:https://p0lyfish.github.io/voodoo3d/
主要特點包括一次性頭部再現(xiàn)、全息顯示、多視角渲染和高保真度。VOODOO3D技術(shù)的實現(xiàn)基于幾個關(guān)鍵技術(shù),包括3D提升網(wǎng)絡(luò)(Lp3D)、體積解耦、三平面渲染和實時渲染。
3D提升網(wǎng)絡(luò)是VOODOO3D中的核心網(wǎng)絡(luò),用于處理面部圖像并將2D面部圖像轉(zhuǎn)換成3D輻射場,從而創(chuàng)建一個詳細的3D模型。而體積解耦則用于區(qū)分源圖像和驅(qū)動視頻幀的信息,使得源身份和目標(biāo)表情可以獨立處理。
三平面渲染使用從驅(qū)動視頻中提取的表情信息來控制源圖像的3D模型,從而允許從任意視角渲染頭部圖像,增加了輸出的真實感和多樣性。最后,實時渲染能夠?qū)崟r渲染多達45個不同視角的圖像,適用于全息顯示和3D視頻會議系統(tǒng)等應(yīng)用。
VOODOO3D的應(yīng)用場景包括3D視頻會議、虛擬現(xiàn)實(VR)和增強現(xiàn)實(AR)、電影和游戲制作,以及社交媒體和娛樂。這項技術(shù)能夠?qū)崟r生成高保真、視角一致的輸出,解決了現(xiàn)有方法中的身份泄露和表情不自然問題,提供更加沉浸和真實的體驗。
(舉報)