站長(zhǎng)之家（ChinaZ.com）6月11日 消息:在CVPR2024上，美國(guó)英特爾研究院的蔡志鵬博士及其團(tuán)隊(duì)提出了一種名為L(zhǎng)-MAGIC（Language Model Assisted Generation of Images with Coherence）的新技術(shù)。這項(xiàng)技術(shù)通過結(jié)合語(yǔ)言模型和圖像擴(kuò)散模型，實(shí)現(xiàn)了高質(zhì)量、多模態(tài)、零樣本泛化的360度場(chǎng)景生成。
核心特點(diǎn):
結(jié)合語(yǔ)言模型和擴(kuò)散模型:L-MAGIC利用自然圖像連接不同模態(tài)的輸入，并通過條件擴(kuò)散模型如ControlNet從各種模態(tài)輸入生成自然圖像。
迭代變形和填充:在獲得自然圖像后，L-MAGIC通過迭代變形（warping）和填充(inpainting)生成360度場(chǎng)景的多個(gè)視角，使用基于擴(kuò)散的圖像填充模型(如Stable Diffusion v2)生成缺失像素。
語(yǔ)言模型控制:L-MAGIC使用語(yǔ)言模型自動(dòng)控制擴(kuò)散模型，根據(jù)每個(gè)視角需要生成的場(chǎng)景內(nèi)容，有效保持語(yǔ)言及擴(kuò)散模型的泛化性。
多樣化場(chǎng)景生成:L-MAGIC能夠生成多樣化的全局場(chǎng)景結(jié)構(gòu)，無需微調(diào)，從而實(shí)現(xiàn)多樣化場(chǎng)景的高質(zhì)量生成。
多模態(tài)輸入:除了自然圖像，L-MAGIC還能接受文字、手繪草圖、深度圖等多種模態(tài)的輸入。
實(shí)驗(yàn)結(jié)果表明:
L-MAGIC在圖像到360度場(chǎng)景生成及文字到360度場(chǎng)景生成任務(wù)中均達(dá)到了SOTA（State of the Art）。
能夠生成具有多樣化360度場(chǎng)景結(jié)構(gòu)的全景圖，并且能夠平滑地完成360度閉環(huán)。
除了文字和自然圖像，L-MAGIC還能夠使用ControlNet接受多樣化的輸入，如深度圖、設(shè)計(jì)草圖等。
技術(shù)應(yīng)用:
L-MAGIC還能夠利用深度估計(jì)模型生成場(chǎng)景的沉浸式視頻和三維點(diǎn)云，為場(chǎng)景理解和可視化提供了更多可能性。
項(xiàng)目主頁(yè)：https://zhipengcai.github.io/MMPano/
（舉報(bào)）