ImagenHub是一個(gè)一站式庫(kù)，用于標(biāo)準(zhǔn)化所有條件圖像生成模型的推理和評(píng)估。該項(xiàng)目首先定義了七個(gè)突出的任務(wù)并創(chuàng)建了高質(zhì)量的評(píng)估數(shù)據(jù)集。其次，我們構(gòu)建了一個(gè)統(tǒng)一的推理管道來(lái)確保公平比較。第三，我們?cè)O(shè)計(jì)了兩個(gè)人工評(píng)估指標(biāo)，即語(yǔ)義一致性和感知質(zhì)量，并制定了全面的指南來(lái)評(píng)估生成的圖像。我們訓(xùn)練專家評(píng)審員根據(jù)提出的指標(biāo)來(lái)評(píng)估模型輸出。該人工評(píng)估在76%的模型上實(shí)現(xiàn)了高的評(píng)估者間一致性。我們?nèi)娴卦u(píng)估了約 30 個(gè)模型，并觀察到三個(gè)關(guān)鍵發(fā)現(xiàn)：

點(diǎn)擊前往ImagenHub官網(wǎng)體驗(yàn)入口

(1)現(xiàn)有模型的性能普遍不令人滿意，除了文本引導(dǎo)的圖像生成和主題驅(qū)動(dòng)的圖像生成外，74%的模型整體得分低于0.5。 (2)我們檢查了已發(fā)表論文中的聲明，發(fā)現(xiàn)83%的聲明是正確的。 (3)除了主題驅(qū)動(dòng)的圖像生成外，現(xiàn)有的自動(dòng)評(píng)估指標(biāo)都沒(méi)有高于0. 2 的斯皮爾曼相關(guān)系數(shù)。未來(lái)，我們將繼續(xù)努力評(píng)估新發(fā)布的模型，并更新排行榜以跟蹤條件圖像生成領(lǐng)域的進(jìn)展。

ImagenHub的應(yīng)用場(chǎng)景示例

ImagenHub收集了七個(gè)主要的條件圖像生成任務(wù)，包括文本引導(dǎo)的圖像生成、掩碼引導(dǎo)的圖像編輯、主題驅(qū)動(dòng)的圖像生成等，為研究人員提供了全面的評(píng)估數(shù)據(jù)集。

ImagenHub建立了統(tǒng)一的推理管道，確保不同模型在相同的評(píng)估流程下進(jìn)行公平比較。

ImagenHub設(shè)計(jì)了兩個(gè)人工評(píng)估指標(biāo)，語(yǔ)義一致性和感知質(zhì)量，并訓(xùn)練專家評(píng)審員根據(jù)這些指標(biāo)對(duì)模型輸出進(jìn)行評(píng)估，獲得了高的評(píng)估者間一致性。

產(chǎn)品特色：

• 定義七個(gè)主要的條件圖像生成任務(wù)
• 構(gòu)建高質(zhì)量的評(píng)估數(shù)據(jù)集
• 建立統(tǒng)一的推理管道
• 設(shè)計(jì)語(yǔ)義一致性和感知質(zhì)量?jī)蓚€(gè)人工評(píng)估指標(biāo)
• 訓(xùn)練專家評(píng)審員進(jìn)行評(píng)估
• 全面評(píng)估約 30 個(gè)條件圖像生成模型
• 更新排行榜跟蹤領(lǐng)域進(jìn)展

（舉報(bào)）