要點(diǎn):
1. 斯坦福和谷歌團(tuán)隊(duì)提出了ZeroNVS，一種能夠從單個(gè)圖像實(shí)現(xiàn)零樣本360度試圖合成的新技術(shù)。
2. ZeroNVS利用3D感知擴(kuò)散模型和SDS蒸餾來(lái)生成逼真且多樣化的合成圖像，聚焦于場(chǎng)景而不是物體。
3. 研究人員使用不同的基準(zhǔn)數(shù)據(jù)集進(jìn)行評(píng)估，結(jié)果表明ZeroNVS在零樣本性能方面明顯領(lǐng)先于其他方法，特別是在LPIPS指標(biāo)上。
站長(zhǎng)之家（ChinaZ.com）11月6日 消息:斯坦福和谷歌團(tuán)隊(duì)提出了一項(xiàng)名為ZeroNVS的創(chuàng)新技術(shù)，能夠從單個(gè)圖像實(shí)現(xiàn)零樣本360度試圖合成。過(guò)去，3D感知擴(kuò)散模型的訓(xùn)練主要集中在模型生成單個(gè)物體的SDS蒸餾上，但要生成逼真且多樣化的合成圖像，需要關(guān)注整個(gè)場(chǎng)景。ZeroNVS的方法涉及使用高質(zhì)量大規(guī)模數(shù)據(jù)集，如Objaverse-XL，以實(shí)現(xiàn)從新視角生成逼真圖像，然后通過(guò)SDS蒸餾采樣，提高3D一致性。與以往的工作不同，ZeroNVS聚焦于場(chǎng)景，而不是物體，因?yàn)楸尘皩?duì)于圖像多樣性至關(guān)重要。
在具體方法上，研究人員首先訓(xùn)練擴(kuò)散模型，然后使用它來(lái)執(zhí)行新穎的視圖合成，隨后進(jìn)行3D SDS蒸餾。與以往不同的是，ZeroNVS引入了一種具有六個(gè)自由度的相機(jī)表示，以捕獲所有可能的位置和方向。這種表示被稱為“6DoF+1”，它對(duì)于場(chǎng)景的剛性變換具有不變性。此外，研究人員還通過(guò)“SDS anchoring”來(lái)提高多樣性，使用DDIM對(duì)新視圖進(jìn)行采樣，然后使用最近的圖像作為指導(dǎo)。
論文地址:https://arxiv.org/pdf/2310.17994.pdf
在實(shí)驗(yàn)結(jié)果方面，研究人員使用了一組標(biāo)準(zhǔn)的新視圖合成指標(biāo)來(lái)評(píng)估各種方法，主要關(guān)注LPIPS。結(jié)果顯示，ZeroNVS在零樣本性能方面明顯領(lǐng)先于其他方法，包括DS-NeRF、PixelNeRF等。此外，研究人員還引入了Mip-NeRF360數(shù)據(jù)集，來(lái)進(jìn)一步測(cè)試單張圖像的360度視圖合成任務(wù)，結(jié)果仍然顯示ZeroNVS表現(xiàn)出色。
總之，ZeroNVS是一項(xiàng)創(chuàng)新的技術(shù)，可以從單個(gè)圖像生成多樣的合成圖像，聚焦于場(chǎng)景級(jí)的合成。它利用3D感知擴(kuò)散模型和SDS蒸餾，采用新的相機(jī)表示和“SDS anchoring”來(lái)提高性能，從而在零樣本性能方面取得顯著成果。這一技術(shù)有望在計(jì)算機(jī)視覺(jué)和圖像合成領(lǐng)域產(chǎn)生重要影響。
（舉報(bào)）