要點:

1. 谷歌和康奈爾提出的RealFill技術(shù)能使用少量參考圖像實現(xiàn)真實的圖像補全，保持場景的一致性和真實性。

2. RealFill通過微調(diào)預(yù)訓(xùn)練的模型，并使用標準的擴散采樣來填充目標圖像的缺失區(qū)域，同時處理不同視角和光照條件。

3. 實驗結(jié)果顯示RealFill在場景保真度和與參考圖像的一致性方面表現(xiàn)出色，相比其他方法更具優(yōu)勢。

站長之家（ChinaZ.com）10月2日 消息:谷歌研究與康奈爾大學(xué)合作提出了一項名為RealFill的真實圖像補全技術(shù)，旨在解決圖像修復(fù)中的真實性和場景一致性問題。該技術(shù)的核心目標是使用少量的參考圖像來填充給定目標圖像的缺失部分，同時盡可能保持原始場景的真實性。

RealFill的優(yōu)勢在于其能夠使用最多5張不需要與目標圖像完全一致的參考圖像，甚至可以在視角、光線條件、相機光圈或圖像風(fēng)格等方面存在極大差異。通過對參考圖像和目標圖像進行微調(diào)，創(chuàng)建一個個性化的生成模型，RealFill保持了圖像的視覺先驗，同時學(xué)習(xí)了輸入圖像的場景內(nèi)容、光照和風(fēng)格。然后，使用微調(diào)后的模型，通過標準的擴散采樣過程來填充目標圖像中的缺失區(qū)域。

• 論文鏈接:https://arxiv.org/abs/2309.16668

• 項目頁面:https://realfill.github.io/

RealFill特別關(guān)注處理具有挑戰(zhàn)性的情況，包括不同視點、環(huán)境條件、相機光圈、圖像風(fēng)格以及移動的對象。實驗結(jié)果顯示，該技術(shù)能夠生成視覺上引人入勝且與參考圖像一致的圖像內(nèi)容，即使參考圖像與目標圖像之間存在巨大差異。

與其他基準方法相比，RealFill表現(xiàn)出更高的場景保真度和與參考圖像的一致性。相比之下，其他方法如Paint-by-Example依賴于CLIP嵌入，而Stable Diffusion Inpainting則在表達能力上存在限制，無法實現(xiàn)高度的場景保真。RealFill的優(yōu)勢在于通過添加更多條件（參考圖像）來擴展生成型圖像修復(fù)模型的表達力，提供了更好的結(jié)果。

然而，RealFill也存在一些局限性，包括處理速度較慢、在大幅度視點變化時無法恢復(fù)3D場景以及無法處理對基礎(chǔ)模型具有挑戰(zhàn)性的情況。盡管如此，RealFill技術(shù)為圖像修復(fù)領(lǐng)域帶來了重要的進展，能夠生成更真實和一致的圖像內(nèi)容，為圖像處理和編輯提供了有力的工具。

在圖像修復(fù)領(lǐng)域，RealFill技術(shù)的出現(xiàn)為解決真實性和一致性的問題提供了創(chuàng)新性的方法，使圖像補全更加真實、高質(zhì)量。這項技術(shù)的應(yīng)用潛力廣泛，將為圖像處理和編輯領(lǐng)域帶來新的可能性，使我們能夠獲得更完美的圖像。

（舉報）