**劃重點(diǎn):**

1. ?? 大型語(yǔ)言模型如ChatGPT的高效寫作引發(fā)問題，學(xué)生濫用以代寫作業(yè)，一些學(xué)校因此禁用ChatGPT。

2. ??? Ghostbuster是一種先進(jìn)的AI生成文本檢測(cè)方法，通過評(píng)估各種生成文本的可能性，無(wú)需了解具體模型或其概率。

3. ?? Ghostbuster在多個(gè)領(lǐng)域、不同提示和模型上取得了出色的性能，彌補(bǔ)了現(xiàn)有方法的不足，有望在多個(gè)應(yīng)用中發(fā)揮作用。

站長(zhǎng)之家（ChinaZ.com）11月15日 消息:大語(yǔ)言模型如ChatGPT，以其卓越的寫作能力引發(fā)了問題。學(xué)生們紛紛利用這些模型代寫作業(yè)，導(dǎo)致一些學(xué)校不得不采取禁止ChatGPT的措施。此外，這些模型還存在生成帶有事實(shí)錯(cuò)誤的文本的傾向，因此謹(jǐn)慎的讀者可能想知道，在信任某些新聞文章或其他來(lái)源之前，是否有生成式AI工具用于代寫。

針對(duì)這一問題，研究人員提出了Ghostbuster這一先進(jìn)的AI生成文本檢測(cè)方法。該方法通過評(píng)估文檔中每個(gè)標(biāo)記在多個(gè)較弱的語(yǔ)言模型下生成的概率，然后將這些概率的函數(shù)作為最終分類器的輸入進(jìn)行組合。Ghostbuster無(wú)需知道生成文檔所使用的具體模型，也無(wú)需知道在該特定模型下生成文檔的概率。這使得Ghostbuster特別適用于檢測(cè)由未知模型或黑盒模型生成的文本，例如流行的商業(yè)模型ChatGPT和Claude，其概率不可用。研究人員著重確保Ghostbuster具有良好的泛化性能，因此他們?cè)诓煌I(lǐng)域（使用新收集的散文、新聞和故事數(shù)據(jù)集）、語(yǔ)言模型或提示下進(jìn)行了評(píng)估。

為什么選擇這種方法呢?

當(dāng)前許多AI生成文本檢測(cè)系統(tǒng)對(duì)于分類不同類型的文本（例如不同的寫作風(fēng)格、或不同的文本生成模型或提示）往往表現(xiàn)脆弱。簡(jiǎn)單使用困惑度(perplexity)的模型通常無(wú)法捕捉更復(fù)雜的特征，在新的寫作領(lǐng)域表現(xiàn)尤為糟糕。與此相反，基于大型語(yǔ)言模型(如RoBERTa)的分類器雖然能輕松捕捉復(fù)雜特征，但容易對(duì)訓(xùn)練數(shù)據(jù)過擬合且泛化性能差。Ghostbuster的方法在這兩者之間取得了平衡，既能夠捕捉復(fù)雜特征，又不容易過擬合。

如何運(yùn)作

Ghostbuster 采用三階段訓(xùn)練過程:計(jì)算概率、選擇特征和分類器訓(xùn)練。

計(jì)算概率:通過計(jì)算在一系列較弱的語(yǔ)言模型（一個(gè)一元模型、一個(gè)三元模型和兩個(gè)非指令調(diào)整的 GPT-3模型）下生成文檔中每個(gè)單詞的概率，將每個(gè)文檔轉(zhuǎn)換為一系列向量、艾達(dá)和達(dá)芬奇)。

選擇特征:使用結(jié)構(gòu)化搜索過程來(lái)選擇特征，其工作原理是（1）定義一組組合概率的向量和標(biāo)量運(yùn)算，以及(2)使用前向特征選擇搜索這些操作的有用組合，重復(fù)添加最好的剩余特征。

分類器訓(xùn)練:根據(jù)最佳的基于概率的特征和一些額外的手動(dòng)選擇的特征訓(xùn)練了線性分類器。

Ghostbuster準(zhǔn)確率表現(xiàn)

在同一領(lǐng)域訓(xùn)練和測(cè)試時(shí)，Ghostbuster在所有三個(gè)數(shù)據(jù)集上取得了99.0的F1分?jǐn)?shù)，超過GPTZero5.9F1和DetectGPT41.6F1。在領(lǐng)域之外，Ghostbuster在所有條件下平均取得了97.0的F1，超過DetectGPT39.6F1和GPTZero7.5F1。與此相對(duì)，我們的RoBERTa基線在所有數(shù)據(jù)集的領(lǐng)域內(nèi)評(píng)估時(shí)取得了98.1的F1，但其泛化性能不一致。Ghostbuster在所有領(lǐng)域上的性能均優(yōu)于RoBERTa，僅在領(lǐng)域之外的創(chuàng)意寫作中稍遜一籌，但總體上比RoBERTa在領(lǐng)域之外的性能更好（13.8F1差距）。

為了確保Ghostbuster對(duì)用戶可能提示模型的各種方式的魯棒性，例如請(qǐng)求不同的寫作風(fēng)格或閱讀水平，研究人員評(píng)估了Ghostbuster對(duì)多個(gè)提示變體的魯棒性。Ghostbuster在這些提示變體上的性能優(yōu)于所有其他測(cè)試方法，達(dá)到99.5的F1。為了測(cè)試對(duì)模型的跨域泛化，研究人員在Claude生成的文本上評(píng)估了Ghostbuster的性能，結(jié)果Ghostbuster也在92.2的F1上超過了所有其他測(cè)試方法。

AI生成文本檢測(cè)器曾被輕微編輯生成的文本所欺騙。研究人員檢查了Ghostbuster對(duì)編輯的魯棒性，例如交換句子或段落，重新排列字符，或用同義詞替換單詞。大多數(shù)在句子或段落級(jí)別的更改并沒有顯著影響性能，盡管如果文本通過重復(fù)改寫，使用商業(yè)檢測(cè)規(guī)避器（如Undetectable AI）或進(jìn)行大量單詞或字符級(jí)別的更改，則性能會(huì)平穩(wěn)下降。性能在較長(zhǎng)的文檔上也表現(xiàn)最佳。

由于AI生成文本檢測(cè)器可能會(huì)將非母語(yǔ)英語(yǔ)的文本誤判為AI生成的文本，研究人員評(píng)估了Ghostbuster對(duì)非母語(yǔ)英語(yǔ)寫作的性能。所有測(cè)試模型在三個(gè)測(cè)試數(shù)據(jù)集中的兩個(gè)上都具有95%以上的準(zhǔn)確率，但在第三組較短的散文中表現(xiàn)較差。然而，文檔長(zhǎng)度可能是主要因素，因?yàn)镚hostbuster在這些文檔上的表現(xiàn)幾乎與其在其他長(zhǎng)度相似的領(lǐng)域之外文檔上的表現(xiàn)一樣好（74.7F1），后者的F1在75.6到93.1之間。

希望將Ghostbuster應(yīng)用于潛在的文本生成的禁區(qū)使用的用戶應(yīng)該注意，對(duì)于較短的文本、遠(yuǎn)離Ghostbuster訓(xùn)練領(lǐng)域的領(lǐng)域（例如不同的英語(yǔ)變體）、非英語(yǔ)母語(yǔ)的文本、人工編輯的模型生成或通過提示AI模型修改人工創(chuàng)作的文本，錯(cuò)誤更有可能發(fā)生。為了避免延續(xù)算法傷害，我們強(qiáng)烈不建議在沒有人類監(jiān)督的情況下自動(dòng)懲罰所謂的文本生成使用。相反，我們建議在分類某人的寫作為AI生成可能會(huì)對(duì)其造成傷害時(shí)，謹(jǐn)慎使用Ghostbuster的人機(jī)協(xié)同使用。Ghostbuster還可以在一系列較低風(fēng)險(xiǎn)的應(yīng)用中發(fā)揮作用，包括從語(yǔ)言模型訓(xùn)練數(shù)據(jù)中過濾AI生成的文本，并檢查在線信息源是否為AI生成。

Ghostbuster是一種先進(jìn)的AI生成文本檢測(cè)模型，在測(cè)試的領(lǐng)域中取得了99.0的F1性能，相較現(xiàn)有模型取得了實(shí)質(zhì)性的進(jìn)展。它在不同領(lǐng)域、提示和模型上表現(xiàn)良好，對(duì)于識(shí)別來(lái)自黑盒或未知模型的文本非常合適，因?yàn)樗鼰o(wú)需訪問生成文檔的具體模型的概率。

Ghostbuster未來(lái)的方向包括為模型決策提供解釋和提高對(duì)試圖欺騙檢測(cè)器的攻擊的魯棒性。AI生成文本檢測(cè)方法還可以與水印等替代方法一起使用。研究人員還希望Ghostbuster能在過濾語(yǔ)言模型訓(xùn)練數(shù)據(jù)或標(biāo)記網(wǎng)絡(luò)上的AI生成內(nèi)容等各種應(yīng)用中發(fā)揮作用。

工具地址:https://ghostbuster.app/

論文網(wǎng)址:https://arxiv.org/abs/2305.15047

github項(xiàng)目網(wǎng)址:https://github.com/vivek3141/ghostbuster

大家嘗試在這里猜測(cè)文本是否是人工智能生成的:ghostbuster.app/experiment

（舉報(bào)）