要进行优化，您必须首先使您的网站包含更多的网页，并且您必须首先让Spider对网页进行爬网。如果你的网站页面定期更新，Spider就会更频繁的访问页面，高质量的内容才是Spider喜欢爬的。尤其是原创内容，Spider很快就会爬上网站。所以网站和网页的权重一定是最重要的。 SEO网站想收录更多的页面，想尽办法吸引Spider抓取。如果你不能抓取所有页面，Spider要做的就是尝试抓取重要的页面。 
哪些页面被认为是重要的？可以从以下几个方面来判断 一、网站页面及权重 质量高、资历老的网站被认为权重更高，这类网站上的页面会被抓取到更高的深度，因此会包含更多的页面。 二、页面更新程度 Spider每次爬行时都会存储页面数据。如果第二次抓取发现页面和第一次完全一样，说明页面没有更新。爬行多次后，Spider就会知道页面更新的频率，不需要Spider去爬不经常更新的页面。如果页面内容更新频繁，Spider就会更频繁地访问页面，页面上出现的新链接自然会被Spider更快地收录和抓取。 三、导入环节 目前常用的链接有锚文本链接、超链接、纯文本链接、图片链接。无论是同一个网站的外部链接还是内部链接，要被Spider抓取，都必须有一个导入链接才能进入页面，否则Spider永远没有机会知道页面的存在。高质量的导入链接往往会增加页面上导出链接的深度抓取。 四、离主页的点击距离 一般来说，首页在网站上的权重最高，大部分外部链接都指向首页，Spider访问频率最高的也是首页。所以离首页点击距离越近，页面权重越高，Spider爬行的机会越大。 
五、URL结构 页面权重只有经过包含和迭代计算后才知道，所以上面提到的高页面权重有利于被抓取。搜索引擎Spider如何在爬行前知道页面权重？所以Spider是需要预判的。除了链接、离主页的距离、历史数据等因素，短浅的URL也可能被直观地认为在网站上具有相对较高的权重。 六、吸引Spider的方式： 1.正文连接 2.超链接 3.锚文本链接 这些链接形式会导致Spider访问网页。只要不遵循这些链接，就会导致Spider访问和转移权重。锚文本链接是最好的引Spider方式，有利于关键词排名，比如友情链接中关键词的锚文本。 不管什么形式的链接，Spider都是一样的！无非加Nofollow标签不能转移权重，但是锚文本链接更适合用户点击的机制！如果只是想单独吸引蜘蛛，建议你去有带链接的论坛！体格大，资历老，权威大的Spider一定要特殊对待。这种网站的抓取频率很高。我们都知道，搜索引擎Spider并不是为了保证高效率而抓取网站的所有页面。一个网站的权重越高，抓取深度就越高，相应的可以抓取的页面也就越多。 |
