劃重點:

?? 研究發(fā)現(xiàn)，2023-2024年頂級 AI 會議的同行評審中有大量 AI 生成內(nèi)容。

?? 重度 AI 內(nèi)容的審稿往往出現(xiàn)在截止日期附近。

?? 人工智能對同行評審質(zhì)量和完整性可能帶來影響，引發(fā)了一些問題。

最近的一項研究揭示了一個重要發(fā)現(xiàn):2023-2024年頂級人工智能會議的同行評審中可能包含大量來自 ChatGPT 等模型的 AI 生成內(nèi)容。

圖源備注：圖片由AI生成，圖片授權(quán)服務(wù)商Midjourney

研究人員利用一種新穎的統(tǒng)計技術(shù)，估計了大量文檔中由人工智能生成的文本的百分比。他們分析了同行評審，發(fā)現(xiàn)在2024年 ICLR 會議中：

• 有10.6% 的審稿涉及大量 AI 內(nèi)容;

• 在 NeurIPS2023中為9.1%;

• 在 CoRL2023中為6.5%;而在 EMNLP2023中高達(dá)16.9%。

與此形成對比的是，僅有1-2% 的2022年及之前的評論被標(biāo)記為包含重大 AI 貢獻(xiàn)。

研究發(fā)現(xiàn)，那些內(nèi)容較多的 AI 審稿往往接近截止日期才出現(xiàn)，這些評論中學(xué)術(shù)引用較少，審稿人也很少參與作者討論。此外，AI 內(nèi)容使評論更加語義一致，審稿人置信度較低則與更高的 AI 估計值相關(guān)。

該研究引發(fā)了一些問題，包括是否應(yīng)該披露人工智能在同行評審中的協(xié)助、如何激勵良好實踐、在人工智能同質(zhì)化下如何保持知識多樣性，以及是否需要重新考慮混合人類 / 人工智能知識工作的功勞。

這是對人工智能迅速增長對科學(xué)質(zhì)量控制基礎(chǔ)的有趣實證。若您有興趣，可以閱讀更詳細(xì)的摘要，或者查看原始論文。

（舉報）