站長之家(ChinaZ.com) 6月11日 消息:騰訊混元團隊聯(lián)合中山大學、香港科技大學推出了一款全新的圖生視頻模型，名為"Follow-Your-Pose-v2"。這一模型在視頻生成領域實現(xiàn)了從單人到多人的跨越，能夠處理人物合照，讓所有人都能同時在視頻中動起來。

主要亮點:

• 支持多人視頻動作生成:在推理耗時更少的情況下，實現(xiàn)多人視頻動作的生成。

• 強泛化能力:無論年齡、服裝、人種、背景雜亂程度或動作復雜性如何，都能生成高質量視頻。

• 日常生活照/視頻可用:模型訓練及生成可以使用日常生活照（包括抓拍）或視頻，無需尋找高質量圖片/視頻。

• 正確處理人物遮擋:面對單張圖片上多個人物軀體相互遮擋的問題，能生成具有正確前后關系的遮擋畫面。

技術實現(xiàn)方面:

模型利用"光流指導器"引入背景光流信息，即使在相機抖動或背景不穩(wěn)定的情況下，也能生成穩(wěn)定背景動畫。

通過"推理圖指導器"和"深度圖指導器"，模型能更好地理解圖片中的人物空間信息和多角色的空間位置關系，有效解決多角色動畫和身體遮擋問題。

評估與比較:

團隊提出了一個新的基準Multi-Character，包含約4000幀多角色視頻，用以評估多角色生成效果。

實驗結果顯示，"Follow-Your-Pose-v2"在兩個公共數(shù)據(jù)集（TikTok和TED演講）和7個指標上的性能均優(yōu)于最新技術35%以上。

應用前景:

圖像到視頻生成技術在電影內容制作、增強現(xiàn)實、游戲制作及廣告等多個行業(yè)有著廣泛的應用前景，是2024年備受關注的AI技術之一。

其他信息:

騰訊混元團隊還公布了文生圖開源大模型（混元DiT）的加速庫，大幅提升推理效率，生圖時間縮短75%。

混元DiT模型的使用門檻降低，用戶可以在Hugging Face的官方模型庫中用三行代碼調用模型。

論文地址：https://arxiv.org/pdf/2406.03035

項目頁：https://top.aibase.com/tool/follow-your-pose

（舉報）