站長(zhǎng)之家(ChinaZ.com) 9月28日消息:根據(jù)人工智能內(nèi)容檢查器和抄襲檢查服務(wù) Originality.ai 的最新分析，目前排名前 100 位中至少有 26 個(gè)網(wǎng)站（排名前 1000 位則有 242 個(gè)）已經(jīng)屏蔽了 OpenAI 于 8 月 7 日推出的網(wǎng)絡(luò)爬蟲(chóng) GPTBot。
這比上個(gè)月增加了 250%，當(dāng)時(shí)在排名前 1000 位的網(wǎng)站中，只有 69 家屏蔽了 GPTBot。
是否屏蔽 ChatGPT 一直是許多 SEO 人員面臨的重要問(wèn)題，因?yàn)?ChatGPT 沒(méi)有引用或鏈接到其來(lái)源。我們?cè)试S搜索引擎爬取我們的內(nèi)容，因?yàn)榇嬖诿黠@的潛在好處——通過(guò)直接鏈接/引用獲取流量。
顯然，更多受歡迎的網(wǎng)站決定屏蔽 GPTBot，可能是因?yàn)樗麄儾幌Ｍ?OpenAI 在沒(méi)有任何形式補(bǔ)償情況下獲取他們數(shù)據(jù)以幫助訓(xùn)練模型。
12 個(gè)熱門(mén)網(wǎng)站現(xiàn)已屏蔽 GPTBot。在上個(gè)月新增的 100 個(gè)最受歡迎的網(wǎng)站中，大部分都是發(fā)布新聞和信息的網(wǎng)站：
pinterest.com
indeed.com
theguardian.com
sciencedirect.com
usatoday.com
stackexchange.com
alamy.com
webmd.com
dictionary.com
washingtonpost.com
npr.org
cbsnews. com
而有趣的是，在上個(gè)月還阻止 GPTBot 的 Foursquare 現(xiàn)在不再阻止了。
那么 CCbot 呢？Common Crawl 的網(wǎng)絡(luò)爬蟲(chóng)仍然被少數(shù)網(wǎng)站（130 個(gè)）屏蔽。值得注意的是，Common Crawl 為 OpenAI、Google 和其他公司提供了部分訓(xùn)練數(shù)據(jù)。
另外，在本次分析中有 1000 個(gè)網(wǎng)站中有 67 個(gè) robots.txt 文件未被識(shí)別/檢查。（這就是為什么在文章開(kāi)頭寫(xiě)了「至少」。）
（舉報(bào)）