站長(zhǎng)之家（ChinaZ.com）9月26日 消息:研究人員介紹了一種名為TCOVIS的在線視頻實(shí)例分割技術(shù)，該技術(shù)注重時(shí)間一致性。實(shí)例分割是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)熱門研究課題，其目標(biāo)是將視頻幀中的每個(gè)獨(dú)立實(shí)例進(jìn)行識(shí)別和分割。

TCOVIS的核心創(chuàng)新在于提出了一個(gè)時(shí)序一致性模塊。視頻實(shí)例分割是一個(gè)非常具有挑戰(zhàn)性的任務(wù)，因?yàn)樾枰獙?duì)每一幀圖像進(jìn)行語(yǔ)義分割，同時(shí)跟蹤并關(guān)聯(lián)各幀之間的目標(biāo)實(shí)例。但是由于各幀之間存在遮擋、形變等問(wèn)題，使得直接應(yīng)用圖片實(shí)例分割模型往往無(wú)法獲得時(shí)序一致和連續(xù)的結(jié)果。

論文地址:https://arxiv.org/pdf/2309.11857v1.pdf

項(xiàng)目地址:https://github.com/jun-long-li/TCOVIS

TCOVIS通過(guò)構(gòu)建一個(gè)記憶模塊來(lái)實(shí)現(xiàn)時(shí)序一致性。該模塊存儲(chǔ)歷史幀的特征，并與當(dāng)前幀建立匹配，從而關(guān)聯(lián)當(dāng)前幀與之前幀之間的同一實(shí)例。 Memory模塊采用字典學(xué)習(xí)的策略，以降低存儲(chǔ)和搜索時(shí)間成本。同時(shí)，TCOVIS還設(shè)計(jì)了在線訓(xùn)練和模型自監(jiān)督策略，使框架能夠適應(yīng)視頻中新出現(xiàn)的實(shí)例，實(shí)現(xiàn)真正的在線逐幀分割。

經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，TCOVIS相比其他主流方法，能夠取得更好的時(shí)間一致性指標(biāo)，同時(shí)保持與SOTA方法相當(dāng)?shù)姆指罹?。該框架可以部署在資源受限的邊緣設(shè)備上，實(shí)現(xiàn)實(shí)時(shí)高質(zhì)量的視頻實(shí)例分割。

（舉報(bào)）