要點(diǎn):

• 馬里蘭大學(xué)和Meta AI研究人員提出視頻摳圖新方法OmnimatteRF，同時(shí)利用2D前景圖層和3D背景模型。

• 2D前景圖層記錄運(yùn)動(dòng)物體及影響，3D背景模型適用于復(fù)雜幾何和非旋轉(zhuǎn)攝像運(yùn)動(dòng)，擴(kuò)展適用視頻種類。

• 在兩個(gè)視頻數(shù)據(jù)集上，與先前方法相比，該方法取得更好表現(xiàn)，無(wú)需每個(gè)視頻單獨(dú)參數(shù)調(diào)整。

站長(zhǎng)之家（ChinaZ.com）9月20日 消息:Omnimatte是迄今為止最有前景的視頻摳圖方法。它使用單應(yīng)性建模背景，因此只適用于背景為平面或僅有旋轉(zhuǎn)運(yùn)動(dòng)的視頻。D2NeRF通過(guò)獨(dú)立建模場(chǎng)景的動(dòng)態(tài)和靜態(tài)成分，使用兩個(gè)輻射場(chǎng)來(lái)解決這個(gè)問(wèn)題。它在復(fù)雜的大范圍運(yùn)動(dòng)場(chǎng)景中表現(xiàn)強(qiáng)勁，不需要任何遮擋輸入，完全自監(jiān)督。但是如何融合視頻中的2D guidance尚不清楚。

項(xiàng)目地址:https://github.com/facebookresearch/OmnimatteRF

馬里蘭大學(xué)和Meta AI的最新研究提出一種集兩者優(yōu)點(diǎn)于一體的方法，使用3D背景模型與2D前景層。2D前景層表示難以用3D建模的物體、動(dòng)作和效果。3D背景建?？梢蕴幚韽?fù)雜幾何形狀和非旋轉(zhuǎn)攝像機(jī)運(yùn)動(dòng)，擴(kuò)展適用的視頻種類。該方法稱為OmnimatteRF。在兩個(gè)視頻數(shù)據(jù)集上的實(shí)驗(yàn)表明，它在各種視頻上都有出色表現(xiàn)，無(wú)需針對(duì)每個(gè)視頻調(diào)參。

OmnimatteRF能夠分離前景中的主體部分和背景場(chǎng)景。它使用二維層保留主體的細(xì)節(jié)，同時(shí)利用三維背景模型對(duì)復(fù)雜場(chǎng)景進(jìn)行重建。相比僅使用二維圖像層表示視頻背景的方法，三維建模極大地提升了對(duì)真實(shí)世界視頻的適應(yīng)能力。

該方法首先使用傳統(tǒng)視頻遮罩技術(shù)分離出動(dòng)態(tài)的前景層。然后，利用這些遮罩結(jié)果和單目深度估計(jì)，訓(xùn)練一個(gè)表征背景的神經(jīng)輻射場(chǎng)模型TensoRF。最后，將動(dòng)態(tài)前景層和靜態(tài)三維背景模型聯(lián)合，重建復(fù)雜的真實(shí)場(chǎng)景。

研究者在各類真實(shí)視頻上進(jìn)行了大量試驗(yàn)，結(jié)果證明相比僅使用二維層的方法，OmnimatteRF能夠得到更優(yōu)質(zhì)的重建效果。該技術(shù)對(duì)視頻制作專業(yè)人員具有重要應(yīng)用價(jià)值，可用于拍攝的影片中添加有趣的效果。同時(shí)，它也可助力構(gòu)建沉浸式的虛擬環(huán)境。

（舉報(bào)）