Baiduspider遵守互聯網robots協議。您可以利用robots.txt文件完全禁止Baiduspider訪問您的網站，或者禁止 Baiduspider訪問您網站上的部分文件。 注意：禁止Baiduspider訪問您的網站，將使您的網站上的網頁，在百度搜索引擎以及所有百度提供搜索引擎服務的搜索引擎中無法被搜索到。關于 robots.txt的寫作方法，請參看百度的 robots.txt寫作方法
您可以根據各產品不同的user-agent設置不同的抓取規則，如果您想完全禁止百度所有的產品收錄，可以直接對Baiduspider設置禁止抓取。網站優化
以下robots實現禁止所有來自百度的抓取：
User-agent: Baiduspider
Disallow: /
以下robots實現禁止所有來自百度的抓取但允許圖片搜索抓取/image/目錄：
User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider-image
Allow: /image/
|
在線客服1號
