合肥做网站,选择疯狗科技,专业、敬业的合肥网络公司
首页 > 标签:404错误 总共有 1 条记录

创建robots.txt需要注意的几点?

2020-04-16
一:robots基础知识robots协议(也称爬虫协议、机器人协议等),全称是网络爬虫排除标准(Robots Exclusion Protocol),网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不可以抓取。Robot txt的作用?可以让蜘蛛