字節(jié)跳動最新開源項目MagicAnimate基于SD1.5，利用先進的擴散模型實現(xiàn)了令人驚嘆的人體圖像動畫。這創(chuàng)新性的項目在社交平臺上呈現(xiàn)了一種新趨勢，即通過一張照片和一組動作，AI可以生成近似真人的舞蹈視頻。（代碼及試玩地址見文末）
MagicAnimate的核心優(yōu)勢在于確保生成內(nèi)容的時間一致性，它采用了預(yù)訓(xùn)練的穩(wěn)定擴散V1.5和MSE微調(diào)的VAE基礎(chǔ)模型，使用戶能夠輕松入門。
使用MagicAnimate的流程非常簡單，只需要一張照片和一組動作。用戶可以選擇一張喜歡的照片，然后通過輸入一組動作，讓AI根據(jù)這些信息生成一個逼真的舞蹈視頻。這個視頻看起來非常逼真，幾乎可以讓人誤以為是真實人物在跳舞。
為了使用MagicAnimate，用戶需要下載穩(wěn)定擴散V1.5和MSE微調(diào)的VAE預(yù)訓(xùn)練基模型，并按照提供的結(jié)構(gòu)組織檢查點。安裝過程簡便，只需具備Python（3.8以上版本）、CUDA(11.3以上版本)和FFmpeg，可以通過conda或pip安裝依賴項。
MagicAnimate還提供了用戶友好的推理過程。用戶可以通過提供的bash腳本在單個GPU上運行推理，或者使用另一個腳本在多個GPU上運行，以優(yōu)化性能。這種簡便的推理方式確保了從初學(xué)者到經(jīng)驗豐富的研究人員的廣泛可訪問性。
這一技術(shù)突破為人體圖像動畫領(lǐng)域帶來了新的可能性，同時也引發(fā)了關(guān)于AI在社交媒體中的影響的討論。通過一張照片和一組動作，用戶可以創(chuàng)造出栩栩如生的舞蹈視頻，這無疑將影響人們對于社交媒體上所呈現(xiàn)視頻真實性的認知。
MagicAnimate代碼地址:https://github.com/magic-research/magic-animate
（舉報）