要點(diǎn):

1、全景分割將語義分割和實(shí)例分割相結(jié)合，對圖像進(jìn)行精細(xì)分割標(biāo)注，但受限于數(shù)據(jù)集標(biāo)注成本。

2、FC-CLIP通過凍結(jié)卷積CLIPbackbone實(shí)現(xiàn)掩碼生成和CLIP文本對齊分類的單階段統(tǒng)一，突破閉詞匯限制。

3、FC-CLIP設(shè)計(jì)簡單高效，參數(shù)和計(jì)算量都大大減少，性能顯著提升，可擴(kuò)展到開放詞匯場景。

站長之家（ChinaZ.com）9月27日 消息:全景分割是將圖像分割成有意義的部分或區(qū)域的基礎(chǔ)計(jì)算機(jī)視覺任務(wù)，對各種應(yīng)用如醫(yī)學(xué)圖像分析和自動(dòng)駕駛具有關(guān)鍵作用。全景分割將語義分割的對每個(gè)像素進(jìn)行對象分類，和實(shí)例分割的對同類不同實(shí)例進(jìn)行區(qū)分相結(jié)合，目標(biāo)是為每個(gè)實(shí)例生成不重疊的掩碼并賦予類別標(biāo)簽。

多年來，研究者不斷提升全景分割模型性能，重點(diǎn)關(guān)注全景質(zhì)量指標(biāo)。但是基于閉詞匯的限制嚴(yán)重制約了這些模型的實(shí)際應(yīng)用，因?yàn)閿?shù)據(jù)集細(xì)顆粒度標(biāo)注的高成本限制了語義類別數(shù)目。這成為全景分割應(yīng)用的關(guān)鍵難題。

項(xiàng)目地址:https://github.com/bytedance/fc-clip

計(jì)算機(jī)視覺社區(qū)探索開放詞匯分割來克服閉詞匯的限制。這種范式利用單詞的文本嵌入作為類別標(biāo)簽嵌入，大大增強(qiáng)了模型處理更廣泛類別的能力。CLIP等多模態(tài)預(yù)訓(xùn)練模型利用其從海量互聯(lián)網(wǎng)數(shù)據(jù)中學(xué)習(xí)對齊圖像文本特征表示的能力，在開放詞匯分割中顯示出巨大潛力。

近期的兩階段方法如SimBaseline和OVSeg改編了CLIP進(jìn)行開放詞匯分割，但固有的低效和分割與分類不一致的問題仍然存在。提出單階段統(tǒng)一框架FC-CLIP正是為解決這一關(guān)鍵問題。

FC-CLIP在共享的凍結(jié)卷積CLIP backbone上無縫集成了掩碼生成和CLIP分類。這種設(shè)計(jì)基于以下核心思路:

凍結(jié)的CLIP backbone保留了預(yù)訓(xùn)練的圖像文本對齊，支持開放詞匯分類。

添加輕量級解碼器后，CLIP backbone可作為強(qiáng)大的掩碼生成器。

卷積CLIP在輸入尺寸放大時(shí)泛化能力提升，適合密集預(yù)測任務(wù)。

單一凍結(jié)卷積CLIP backbone帶來極簡但高效的設(shè)計(jì)。相較先前方法，F(xiàn)C-CLIP參數(shù)和計(jì)算量大幅減少，訓(xùn)練時(shí)間也更短，實(shí)用性強(qiáng)。在多個(gè)數(shù)據(jù)集上，F(xiàn)C-CLIP都顯著提升了狀態(tài)轉(zhuǎn)換水平。

FC-CLIP開創(chuàng)性的單階段框架統(tǒng)一了掩碼生成和文本匹配分類，具有巨大的潛力推動(dòng)全景分割向開放詞匯場景擴(kuò)展，實(shí)現(xiàn)真正的圖像理解和交互。這項(xiàng)突破性工作為端到端的單階段全景分割方法提供了范例，值得進(jìn)一步改進(jìn)和擴(kuò)展。

（舉報(bào)）