Robots協(xié)議（也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”（Robots Exclusion Protocol），網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。也叫機(jī)器人排除標(biāo)準(zhǔn)（Robots Exclusion Standard），網(wǎng)站使用的文本文件，用于與網(wǎng)絡(luò)機(jī)器人（最常見的SE機(jī)器人）進(jìn)行通信，以處理網(wǎng)站的每個頁面。在這里，您可以將某些頁面設(shè)置為漫游器的禁區(qū)，并僅掃描最有用的內(nèi)容。

Robots協(xié)議（也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”（Robots Exclusion Protocol），網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

HTML源代碼即網(wǎng)頁源代碼，通過語法規(guī)則可讓圖片、文字等內(nèi)容在瀏覽器顯示出來。HTML是用于創(chuàng)建網(wǎng)頁和應(yīng)用程序的標(biāo)準(zhǔn)標(biāo)記語言。HTML源代碼是我們在編譯器將代碼轉(zhuǎn)換為你在瀏覽器中看到的內(nèi)容之前可以修改代碼的唯一階段。你可以在任何瀏覽器中查看源代碼（右鍵單擊+在Chrome中檢查，然后右鍵單擊+在Firefox中查看頁面源代碼）。如果要修改它，建議使用純文本或代碼編輯器。大多數(shù)技術(shù)搜索引擎優(yōu)化都是通過HTML代碼完成的。