做一个网站，你必须了解蜘蛛，知道它们喜欢什么，不喜欢什么。下面总结了一些对蜘蛛不友好的特性，希望对你有帮助。
1.url不规范。
过长的网址和含有特殊字符的网址会影响蜘蛛抓取。
2.死链
一般来说，死链就是打不开的环节。如果搜索引擎蜘蛛在网站中抓取，发现大量页面打不开，会影响网站的信任度和排名。
3.各种跳跃
连续跳转可能会停止蜘蛛爬行，因为它经常被黑帽seo使用，导致搜索引擎蜘蛛对它更加敏感。
4.flash动画
很多网站会在页面中加入flash动画，但是搜索引擎蜘蛛说到底只是一个程序，并不能像人一样观看flash动画的内容。虽然搜索引擎一直在这方面努力，但是目前的搜索引擎蜘蛛技术并不能完整有效的抓取flash的内容。
此外，如果网站上有flash动画，搜索引擎建议添加相应的文本描述，以便搜索引擎蜘蛛可以直观地了解flash动画的内容。
5.js代码
搜索引擎蜘蛛也很难抓取js代码，大量的js代码会严重影响搜索引擎蜘蛛的抓取速度。所以在优化网站seo的时候要尽量避免或者少用js代码。
6.您必须登录才能浏览网站。很多网站的部分甚至全部内容都需要注册才能浏览。大部分社交媒体(如sns网站、微博等)都是如此。).但是搜索引擎蜘蛛不填写用户名和密码，更不用说注册了。
7.强制使用cookies
实际上，搜索引擎蜘蛛禁用了cookies。如果没有cookies内容无法正常显示，搜索引擎蜘蛛就看不到网页的内容。
8.不稳定的服务器
如果网站因为服务器问题而无法定期正常访问，久而久之，搜索引擎蜘蛛在爬到你的域名时往往会“碰壁”，搜索引擎蜘蛛自然会认为这个网站不靠谱。这样一来，网站也会失去搜索引擎蜘蛛的信任。
9.网站结构保证网站有一个良好的逻辑结构。如果想让网站对搜索引擎友好，就必须遵循3次点击即可到达网站任意页面的网站结构设计原则，网站的网址也要尽可能标准化。
10.网站打开速度慢。网站的打开速度很重要。对于一般网站来说，蜘蛛不会24小时都在。所以在保证网站结构良好的前提下，蜘蛛要在固定的时间内抓取更多的页面。
