吸引蜘蛛抓取的5个重要因素-容易吸引蜘蛛的人

虽然理论上，只要给蜘蛛足够的时间，都能够爬完整个互联网。但在实际工作中，蜘蛛的宽带资源、时间都不是无限的，也不可能爬完所有页面。实际上最大的搜索引擎也只是爬行和收录了互联网的一小部分。SEO人员要想让自己的更多页面被收录，就要想方设法吸引蜘蛛来抓取。既然不能抓取所有页面，蜘蛛所要做的就是尽量抓取重要页面。

哪些页面被认为比较重要呢?有几方面影响因素。眼前一亮，将从如下几个方面阐述：

一、网站和页面权重

质量高、资格老的网站被认为权重比较高，这种网站上的页面被爬行的深度也会比较高，所以会有更多内页被收录。

二、页面更新度

蜘蛛每次爬行都会把页面数据存储起来。如果第二次爬行发现页面与第一次收录的完全一样，说明页面没有更新，多次抓取后蜘蛛会对页面更新频率有所了解，不常更新的页面，蜘蛛也就没有必要经常抓取。如果页面内容经常更新，蜘蛛就会更加频繁地访问这种页面，页面上出现的新链接，也自然会被蜘蛛更快地跟踪，抓取新页面。

三、导入链接

无论是外部链接还是同一个网站的内部链接，要被蜘蛛抓取，就必须有导入链接进入页面，否则蜘蛛根本没有机会知道页面的存在。高质量的导入链接也经常使页面上的导出链接被爬行深度增加。

四、与首页点击距离

一般来说网站上权重最高的是首页，大部分外部链接是指向首页的，蜘蛛访问最频繁的也是首页。离首页点击距离越近，页面权重越高，被蜘蛛爬行的机会也越大。

五、URL结构

页面权重是在收录并进行迭代计算后才知道的，那么前面说的页面权重高有利于被抓取，搜索引擎蜘蛛在抓取前怎么知道这个页面的权重呢?所以蜘蛛要进行预判，除了链接、与首页距离、历史数据等因素外，短的、层次浅的URL也可能被直观认为在网站上的权重相对较高。