近日,據(jù)悉百度百科實(shí)施了屏蔽措施,針對(duì)谷歌和必應(yīng)等大多數(shù)搜索引擎及爬蟲(chóng)進(jìn)行了限制,旨在阻止這些外部搜索引擎未經(jīng)授權(quán)抓取百度百科內(nèi)容用于人工智能(AI)訓(xùn)練。
根據(jù)百度百科的 robots.txt 文件,目前僅允許少數(shù)搜索引擎抓取其內(nèi)容,包括百度搜索、搜狗搜索、中國(guó)搜索(Chinaso)、YYSpider 和宜搜搜索(EasouSpider)。
谷歌搜索、必應(yīng)搜索、微軟 MSN、UC 瀏覽器的 Yisouspider 及其他所有搜索引擎爬蟲(chóng)均被明確禁止抓取百度百科內(nèi)容。
雖然 360 搜索未在屏蔽列表中單獨(dú)列出,但百度百科的策略是禁止任何非白名單爬蟲(chóng)抓取,因此 360 搜索和其他搜索引擎也受到影響。
值得注意的是,百度百科的屏蔽措施只能防范守法的爬蟲(chóng),而一些非法爬蟲(chóng)仍可能采用其他方式抓取內(nèi)容用于 AI 訓(xùn)練。
(舉報(bào))