合肥做网站,选择疯狗科技,专业、敬业的合肥网络公司
首页 > 网站SEO优化 > 详情

我不想我的网站被Baiduspider访问,我该怎么做?

2020-03-24 10:57:58   来源:互联网   浏览:  次
Baiduspider遵守互联网robots协议。您可以利用robots txt文件完全禁止Baiduspider访问您的网站,或者禁止 Baiduspider访问您网站上的部分文件。 注意:禁止Baiduspider访问您的网站,将使您的网站上的网页,在百度搜索引擎以

Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站,或者禁止 Baiduspider访问您网站上的部分文件。 注意:禁止Baiduspider访问您的网站,将使您的网站上的网页,在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于 robots.txt的写作方法,请参看百度的 robots.txt写作方法

您可以根据各产品不同的user-agent设置不同的抓取规则,如果您想完全禁止百度所有的产品收录,可以直接对Baiduspider设置禁止抓取。

以下robots实现禁止所有来自百度的抓取:

User-agent: Baiduspider

Disallow: /

以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录:

User-agent: Baiduspider

Disallow: /

User-agent: Baiduspider-image

Allow: /image/

相关热词搜索:Baiduspider 上一篇:电商时代,企业搭建商城系统的优势有哪些? 下一篇:企业网站优化越来越难做之网站页面百度不收录怎么办?