站長(zhǎng)之家（ChinaZ.com）10月8日 消息:CoDA是一個(gè)端到端的開(kāi)放詞匯3D目標(biāo)檢測(cè)框架，旨在同時(shí)實(shí)現(xiàn)新對(duì)象的定位和分類(lèi)。它主要包括兩大特點(diǎn):

1.3D新對(duì)象發(fā)現(xiàn)策略:利用3D幾何先驗(yàn)和2D語(yǔ)義先驗(yàn)聯(lián)合發(fā)現(xiàn)場(chǎng)景中的新對(duì)象，生成新對(duì)象的偽標(biāo)簽。

2. 基于發(fā)現(xiàn)的跨模態(tài)對(duì)齊:將3D點(diǎn)云特征與圖像/文本特征對(duì)齊，利用已有類(lèi)別和不斷發(fā)現(xiàn)的新對(duì)象類(lèi)別進(jìn)行對(duì)齊，使對(duì)齊迭代增強(qiáng)。

項(xiàng)目地址：https://yangcaoai.github.io/publications/CoDA.html

新對(duì)象發(fā)現(xiàn)可以直接影響跨模態(tài)對(duì)齊，更好的特征對(duì)齊又可以反過(guò)來(lái)提升定位能力，形成一個(gè)統(tǒng)一的開(kāi)放詞匯3D檢測(cè)框架。

CoDA的創(chuàng)新之處在于:

1. 提出利用3D幾何和2D語(yǔ)義聯(lián)合發(fā)現(xiàn)新對(duì)象，實(shí)現(xiàn)開(kāi)放詞匯場(chǎng)景下的新對(duì)象定位。

2. 基于發(fā)現(xiàn)的新對(duì)象，進(jìn)行跨模態(tài)特征對(duì)齊，實(shí)現(xiàn)新對(duì)象的分類(lèi)。

3. 新對(duì)象發(fā)現(xiàn)和跨模態(tài)對(duì)齊協(xié)同訓(xùn)練，相互促進(jìn)，形成一個(gè)端到端框架。

與僅利用CLIP進(jìn)行開(kāi)放詞匯檢測(cè)的方法相比，CoDA可以發(fā)現(xiàn)更多新對(duì)象，同時(shí)檢測(cè)更多已知類(lèi)別目標(biāo)，實(shí)現(xiàn)了更好的開(kāi)放世界檢測(cè)能力。

綜上，CoDA是一個(gè)非常創(chuàng)新的開(kāi)放詞匯3D目標(biāo)檢測(cè)框架，旨在解決這個(gè)領(lǐng)域的兩個(gè)核心問(wèn)題:新對(duì)象的定位和分類(lèi)，具有非常高的學(xué)術(shù)價(jià)值和應(yīng)用前景。

（舉報(bào)）