合肥做网站,选择疯狗科技,专业、敬业的合肥网络公司
首页 > 网站SEO优化 > 详情

影响蜘蛛的抓取你的站的因素有哪些?

2017-07-10 16:25:23   来源:互联网   浏览:  次
蜘蛛每次爬行都会把页面数据存储起来。如果第二次爬行发现页面与第一次收录的完全一样,说明页面没有更新,多次抓取后,蜘蛛会对页面更新频率有所了解,不经常更新的页面,蜘蛛也就没有必要经常抓取了。

影响蜘蛛的抓取你的站的因素有哪些?

一、页面更新度。

蜘蛛每次爬行都会把页面数据存储起来。如果第二次爬行发现页面与第一次收录的完全一样,说明页面没有更新,多次抓取后,蜘蛛会对页面更新频率有所了解,不经常更新的页面,蜘蛛也就没有必要经常抓取了。像我的网站爱起航登报网有个栏目经常每天更新1-3篇文字,蜘蛛就对这个栏目抓取的很快,几乎是第二天就放出来快照了,而有的栏目更新的比较慢,就算更新了,蜘蛛也不会很快的给抓取了。

二、导入链接。

无论是外部链接还是同一个网站的内部链接,要是被蜘蛛抓取,就必须要有导入链接进入页面,否则蜘蛛根本没有机会知道这个页面的存在。高质量的导入链接也经常会使导出链接被爬行深度增加。下面的文章发布了,几乎很少有蜘蛛爬去,我就给从外部导入几个链接,让蜘蛛有个渠道可以爬取。

三、与首页的点击距离。

一般来说网站权重最高的是首页,大部分链接是指向网站首页,蜘蛛爬的最快的也是首页,所以我首页的文章更新的就比较快,而蜘蛛抓取的也快。

相关热词搜索:蜘蛛抓取 上一篇:SEO:大型网站如何做seo优化? 下一篇:网站优化的这些细节你做对了吗?