众所周知，只有搜索弓蜘蛛抓取并收录的页面才能参与搜索结果排名的竞争，因此如何建立网站与搜索引擎蜘蛛的关系是站长们最关心的问题。

搜索引擎蜘蛛(也称为： web spider和网络爬虫)使用极其复杂的爬行策略来遍历互联网上尽可能多的网站，也需要在保证网站的用户体验不受影响的综合考虑下抓取更多有价值的资源。各大搜索弓|引擎每天都会发送大量蜘蛛，起点通常是权重较高的网站或者访问量较大的服务器。

搜索引擎蜘蛛会沿着内外链入口访问更多的网站页面，并将网页信息存储在数据库中。就像图书馆一样，它把不同的书分类，最后压缩加密成可以阅读的方式，放在硬盘上供搜索用户获取。我们搜索的互联网就是这个数据库。

从10号开始

首先，搜索引擎蜘蛛喜欢抓取定期更新的网站。从某种意义上说，网站的更新频率与抓取频率成正比。即使在网站前期，没有蜘蛛来抓取文章，它们也应该定期更新。通过这种方式，蜘蛛可以获取并统计这个网站的更新规则，并定期抓取新内容，从而可以尽快抓取更新后的网站文章。

其次，原创性和新鲜感较高的文章更容易被蜘蛛抓取和收录。如果网站中有大量重复的内容，会让蜘蛛觉得爬得太多没有意义，还会让搜索弓质疑网站的质量，甚至导致惩罚。“新鲜度”主要指内容的受欢迎程度和有效性，近期的“大事件”“热点事件”容易被用户注意到，被蜘蛛抓取。

除了以上两点，关键词的分布对蜘蛛抓取也有重要影响。因为关键词是区分一个页面内容的重要因素之一，太多的关键词会被搜索引擎视为“作弊”，所以关键词的分布要控制在2%-8%左右的密度。

第二，保证服务器的稳定运行

服务器的稳定性不仅关系到网站的用户体验，对蜘蛛爬行也有很大的影响。站长要定期检查服务器状态，查看网站日志，查看是否有500状态码等标识，及时发现隐患。

如果网站遇到黑客攻击、服务器误删网站、服务器硬件瘫痪等问题，停机时间超过12小时，应立即开启百度站长平台的防护功能，防止百度误判网站存在大量无效死链页面，及时修复网站和服务器。

服务器长期不稳定会导致蜘蛛对页面进行有效抓取，降低搜索引擎的友好度，导致收录度和排名下降。因此，网站必须选择稳定的服务器。

第三，优化网站结构

如果网站内容不错，但页面很少收录，大部分是因为页面根本没有被蜘蛛抓取。这个时候网站要全面测试，包括Robots文件、页面层次、代码结构、网站链接等等。

1.机器人文件，全称是“机器人分类协议”。网站可以通过Robots协议告诉蜘蛛哪些页面可以抓取，哪些页面不能抓取。

2.页面层次表现在网站的物理层次和逻辑层次等多个方面。以逻辑层次的URL结构为例，内存方便、层次短、长度适中的静态URL受到搜索弓和蜘蛛的青睐。URL结构(用“/”标记)一般不要超过4层。过于复杂的结构不利于搜索|列表，也会影响用户体验。

3.网站代码类别和结构也会影响网页是否被蜘蛛抓取。比如：IFRAME、JavaScript等代码，目前百度搜弓蜘蛛无法有效理解和抓取，所以有必要尽量减少这类代码的使用。此外，过多的代码会导致蜘蛛抓取不完整。

4.网站链接是网页之间权重传递的“入口”。链接的数量和质量直接影响网页能否被蜘蛛抓取和收集。低质量的链接堆叠只会给网站带来毁灭性的灾难，并及时消除错误链接和死链接，从而减少蜘蛛对死链接的抓取时间。尽可能从正规和相关的网站拿回链接，这样可以增加网站的权重。

此外，网站还可以为蜘蛛提供一些快捷通道，比如sitemap。-结构清晰的网站地图可以让搜索引导蜘蛛清晰地了解网站结构，从而成功抓取整个网站页面。

通过高质量的内容更新、高质量的链接交换和合理的网站结构，搜索弓和蜘蛛可以更好地了解网站，抓取网站页面。但是不能发布一些与网站内容无关的页面，或者过度优化网站。因为只有真正用心去做，给用户带来价值的网站，才能被搜索引擎和用户喜欢。

转载自木易SEO博客，本文链接地址为：/2494.html