在線robots.txt文件生成工具，可以幫助站長快速生成標(biāo)準(zhǔn)的robots.txt文件，支持一鍵導(dǎo)出，直接傳到網(wǎng)站根目錄即可。
小經(jīng)驗(yàn)：強(qiáng)烈建議每個(gè)站根目錄都放置一個(gè)robots.txt的文件，可以直接留空，但一定要放，避免因程序問題導(dǎo)致/robots.txt返回其他錯(cuò)誤響應(yīng)內(nèi)容造成不可預(yù)知的結(jié)果，如搜索引擎不收錄等。
Robots協(xié)議（爬蟲協(xié)議）是國際互聯(lián)網(wǎng)界通行的道德規(guī)范，一般是在一個(gè)web站點(diǎn)的根目錄下寫的robots.txt文件，用來告知搜索引擎哪些頁面能被抓取，哪些頁面不能被抓取，可以屏蔽一些網(wǎng)站中比較大的文件，如：圖片，音樂，視頻等，節(jié)省服務(wù)器帶寬；可以屏蔽站點(diǎn)的一些死鏈接。方便搜索引擎抓取網(wǎng)站內(nèi)容；設(shè)置網(wǎng)站地圖連接，方便引導(dǎo)蜘蛛爬取頁面。
robots.txt基本用法
User-agent
User-agent是用來匹配爬蟲的，每個(gè)爬蟲都會有一個(gè)名字，如果你有安裝awstats統(tǒng)計(jì)工具，你就能查看到爬蟲的名字，比如百度的爬蟲叫BaiDuSpider，Google的爬蟲叫Googlebot，*表示所有爬蟲。
Disallow
Disallow表示禁止爬蟲訪問的目錄。Disallow: / 表示攔截整站。
Allow
Allow表示允許爬蟲訪問的目錄。Allow: / 表示允許整站。
Sitemap
Sitemap用來指定sitemap的位置。
Crawl-delay
Crawl-delay用來告訴爬蟲兩次訪問的間隔，單位是秒。爬蟲如果爬得很勤，對動態(tài)網(wǎng)站來說，壓力有點(diǎn)大，可能會導(dǎo)致服務(wù)器負(fù)載增高，用戶訪問變慢。
還可以使用通配符
*：匹配任意多個(gè)字符
$：表示URL的結(jié)尾
Robots.txt舉例
不管是Disallow，Allow還是Sitemap，每行只能寫一條規(guī)則。
攔截部分文件或目錄
User-agent: *
Disallow: /cgi-bin/
Disallow: /aaa.html
允許爬蟲訪問所有的目錄，有兩種寫法
User-agent: *
Disallow:
User-agent: *
Allow: /
通配符的使用，攔截.gif文件
User-agent: *
Disallow: /*.gif$
攔截帶有?的文件
User-agent: *
Disallow: /*?
Sitemap例子
Sitemap: https://www.h43.cn/sitemap.xml
熱門標(biāo)簽： 設(shè)計(jì)師導(dǎo)航 自媒體導(dǎo)航 站長導(dǎo)航 數(shù)據(jù)服務(wù) 營銷與管理 HR人事 WEB前端 網(wǎng)站大全 政府網(wǎng)站 生活服務(wù) 行業(yè)企業(yè) 影視導(dǎo)航 辦公人導(dǎo)航 電腦網(wǎng)絡(luò) AI智能 學(xué)習(xí)導(dǎo)航 短視頻導(dǎo)航 程序員導(dǎo)航 電商導(dǎo)航 摸魚導(dǎo)航 社會 頭條 國內(nèi) 國際 娛樂 軍事 科技 財(cái)經(jīng) 時(shí)尚資訊 建站經(jīng)驗(yàn)
