合肥做网站,选择疯狗科技,专业、敬业的合肥网络公司
首页 > 标签:robots 总共有 2 条记录

如何写一个合理的robots.txt文件

2020-09-23
robots txt文件的写法User-agent: *    这里的*代表的所有的搜索引擎种类,*是一个通配符Disallow: admin 这里定义是禁止爬寻admin目录下面的目录Disallow: require   这里定义是禁止爬寻require目录下面的目录

秒懂robots.txt写法和注意事项!

2019-03-07
robots txt直接放在网站根目录下,是蜘蛛访问网站时,第一个抓取的文件。robots txt是告诉蜘蛛网站的哪些文件允许抓取,哪些文件不允许抓取,甚至可以指定特定的蜘蛛能不能抓取特定的文件。没有抓取就没有收录,没有收录就没有