合肥做网站,选择疯狗科技,专业、敬业的合肥网络公司
首页 > 标签:robots协议 总共有 1 条记录

robots协议与网站地图

2017-10-07
首先要了解概念。何为robots,robots txt是一个纯文本文件,用于声明该网站中不想被蜘蛛访问的部分,或者指定蜘蛛抓取的部分。简而言之,robots txt不是规定,而是一种约定,需要蜘蛛自觉遵守的一种习俗。当蜘蛛访问一个站点时