如果你想被搜索引擎收录,你必须先有一个蜘蛛来抓取它。然后通过各种操作和优化,你想各种办法提高搜索引擎蜘蛛的抓取次数。结果通过分析日志,可以发现这只小蜘蛛还是不勤快。一般来说,抓取网站的频率高,网站就能被很好的收录。
蜘蛛抓取频率的影响因素:
1.网站布局
合理的网站布局可以提高用户体验,帮助蜘蛛找到新的链接,提高收藏。
2.内容的独创性
目前百度对内容东拼西凑和垃圾收集的认可度很高。想要赢得蜘蛛的青睐,需要有源源不断的优质原创内容。高质量的内容是网站的基础。如果没有好的内容,再多的蜘蛛也是短命的。所以多想想如何提高网站内容质量。
3.外部链接
高质量的外部链接和友情链接也很重要。一方面可以传递权重,另一方面可以让蜘蛛从外部链接爬到自己的网站,增加蜘蛛的抓取。
4.页面加载速度
页面加载速度越来越受到重视,尤其是在移动终端上。建议移动终端的打开速度不要超过3秒。可以通过减少对图片、flash、JS的调用来加快页面打开的速度,服务器的各个索引的好坏也会影响页面访问速度。
5.主动提交
百度现在有四种方式:api提交、自动推送、sitemap和手动提交,所有可用的方式都可以使用。主动提交一定要比百度蜘蛛的自然抓取快,如果有快速收录权就更好了。
6.更新频率
如果蜘蛛每次来网站都不更新,会降低抓取频率,节省抓取资源。但是如果蜘蛛每次来都能找到新的链接,就会根据新的链接爬到新的页面,这样爬的频率就会越来越高。
7.服务器配置
上图是百度站长对抓取频率的描述。这里简单说明一下:Baiduspider会避免站点的抓取频率过高,造成服务器不稳定,影响正常用户访问。百度蜘蛛会根据网站内容更新频率、服务器压力等因素自动调整抓取频率。所以服务器的好坏直接影响抓取频率。
8、网站权重
对于权重高的网站,蜘蛛的抓取频率自然高。至于如何提高网站权重,是站内优化和站外优化共同的结果。话题挺大的,这里就不啰嗦了。