劃重點(diǎn):

?? 研究人員介紹DL3DV-10K，這是一個(gè)大規(guī)模的多視圖場(chǎng)景數(shù)據(jù)集，旨在解決神經(jīng)視圖合成（NVS）中的挑戰(zhàn)，為深度學(xué)習(xí)三維視覺提供強(qiáng)大的數(shù)據(jù)支持。

?? 研究團(tuán)隊(duì)使用DL3DV-10K評(píng)估了現(xiàn)有方法，包括NeRF變體和3D高斯斑點(diǎn)，提出DL3DV-140作為性能基準(zhǔn)，揭示了這些方法在各種真實(shí)場(chǎng)景中的強(qiáng)弱之處。

?? 研究表明，通過使用DL3DV-10K預(yù)訓(xùn)練IBRNet，可以顯著提高當(dāng)前先進(jìn)方法的性能，并強(qiáng)調(diào)大規(guī)模真實(shí)場(chǎng)景數(shù)據(jù)集在推動(dòng)學(xué)習(xí)型通用NeRF方法發(fā)展中的重要性。

神經(jīng)視圖合成（NVS）在從多視圖視頻生成逼真的三維場(chǎng)景方面提出了復(fù)雜的挑戰(zhàn)，尤其是在多樣化的真實(shí)世界場(chǎng)景中。當(dāng)前先進(jìn)的NVS技術(shù)在面對(duì)照明變化、反射、透明度和整體場(chǎng)景復(fù)雜性的變化時(shí)，其局限性變得明顯。為了應(yīng)對(duì)這些挑戰(zhàn)，研究人員致力于推動(dòng)NVS能力的邊界。

為了理解NVS，普渡大學(xué)、Adobe、羅格斯大學(xué)和谷歌的研究團(tuán)隊(duì)對(duì)現(xiàn)有方法進(jìn)行了深入評(píng)估，包括NeRF變體和3D高斯斑點(diǎn)，使用新引入的DL3DV-140基準(zhǔn)進(jìn)行測(cè)試。該基準(zhǔn)源自DL3DV-10K，這是一個(gè)大規(guī)模的多視圖場(chǎng)景數(shù)據(jù)集，作為對(duì)NVS技術(shù)有效性的檢驗(yàn)。為了應(yīng)對(duì)已識(shí)別的局限性，研究人員引入了DL3DV-10K作為一個(gè)強(qiáng)大的數(shù)據(jù)集，為神經(jīng)輻射場(chǎng)（NeRF）的通用先驗(yàn)開發(fā)提供支持。這個(gè)數(shù)據(jù)集被精心設(shè)計(jì)，涵蓋了多樣的真實(shí)場(chǎng)景，捕捉了環(huán)境設(shè)置、照明條件、反射表面和透明材料的變化。

DL3DV-140在各種復(fù)雜性指標(biāo)上審查了NeRF變體和3D高斯斑點(diǎn)，提供了對(duì)它們優(yōu)勢(shì)和劣勢(shì)的見解。值得注意的是，Zip-NeRF、Mip-NeRF360和3DGS在PSNR（峰值信噪比）和SSIM(結(jié)構(gòu)相似性指數(shù))方面始終優(yōu)于它們的對(duì)手，其中Zip-NeRF表現(xiàn)出色，在性能方面顯示出卓越的表現(xiàn)。

研究人員仔細(xì)分析了場(chǎng)景復(fù)雜性的微妙差異，考慮了室內(nèi)與室外設(shè)置、照明條件、反射類別和透明類別等因素。性能評(píng)估提供了對(duì)這些方法在不同情景下的表現(xiàn)有深入的理解。特別是，盡管使用默認(rèn)批處理大小會(huì)占用更多GPU內(nèi)存，Zip-NeRF表現(xiàn)出了強(qiáng)大的魯棒性和高效性。

除了對(duì)SOTA方法進(jìn)行基準(zhǔn)測(cè)試外，研究團(tuán)隊(duì)還探討了DL3DV-10K在訓(xùn)練通用NeRF中的潛力。通過使用數(shù)據(jù)集預(yù)訓(xùn)練IBRNet，研究人員展示了數(shù)據(jù)集在提高先進(jìn)方法性能方面的有效性。實(shí)驗(yàn)證明，從DL3DV-10K的子集中獲得的先驗(yàn)知識(shí)顯著增強(qiáng)了IBRNet在各種基準(zhǔn)上的通用性。這種實(shí)驗(yàn)為大規(guī)模真實(shí)場(chǎng)景數(shù)據(jù)集（如DL3DV-10K）在推動(dòng)學(xué)習(xí)型通用NeRF方法發(fā)展中的作用提供了有力的論據(jù)。

這項(xiàng)研究深入探討了神經(jīng)視圖合成，解決了當(dāng)前方法的局限性，并提出DL3DV-10K作為一個(gè)重要的解決方案。全面的基準(zhǔn)測(cè)試DL3DV-140評(píng)估了SOTA方法，并對(duì)它們?cè)诟鞣N真實(shí)場(chǎng)景中的性能進(jìn)行了檢驗(yàn)。對(duì)DL3DV-10K在訓(xùn)練通用NeRF中的潛力的探討強(qiáng)調(diào)了它在推動(dòng)三維表示學(xué)習(xí)領(lǐng)域發(fā)展中的重要性。

隨著研究團(tuán)隊(duì)引領(lǐng)創(chuàng)新方法，這項(xiàng)工作的影響超越基準(zhǔn)測(cè)試，影響著NVS研究和應(yīng)用的未來(lái)發(fā)展方向。數(shù)據(jù)集的先進(jìn)和方法學(xué)創(chuàng)新的結(jié)合推動(dòng)該領(lǐng)域朝著更加強(qiáng)大和多功能的神經(jīng)視圖合成能力邁進(jìn)。

論文網(wǎng)址:https://arxiv.org/abs/2312.16256

項(xiàng)目網(wǎng)址:https://dl3dv-10k.github.io/DL3DV-10K/

（舉報(bào)）