做SEO每天打交道最多的就是搜索引擎放出来的小机器人，也叫搜索引擎蜘蛛，我们要做的事情就是把它们伺候好，顺其意投其好。下面环球视野为你介绍下各大搜索引擎蜘蛛的特点。

一、各大搜索引擎蜘蛛介绍

google蜘蛛： googlebot；百度蜘蛛：baiduspider；搜狗蜘蛛：sogou spider；搜搜蜘蛛：Sosospider；yahoo蜘蛛：slurp；alexa蜘蛛：ia_archiver；msn蜘蛛：msnbot；altavista蜘蛛：scooter；lycos蜘蛛： lycos_spider_(t-rex)；alltheweb蜘蛛： fast-webcrawler；inktomi蜘蛛： slurp；有道蜘蛛：YodaoBot和OutfoxBot；热土蜘蛛：Adminrtspider 。

二、各大搜索引擎蜘蛛的习惯

百度蜘蛛：爬谨慎，收录更谨慎。

google蜘蛛：不太爱爬，但爱收录。

搜搜蜘蛛：爱爬图片，经常绕在动态地址里出不来。

雅虎蜘蛛：恪守规则，每次都是先爬robots.txt。

三、对于robots.txt的支持程度

google表现：写了禁止就不再爬，会在谷歌站长工具中列出来它想爬被你阻止了。

百度的表现：写了禁止之后很少爬，但是偶尔也会爬，相信是起作用了，因为越来越少，以前一天几次现在几天一次。

搜狗蜘蛛：可以说是基本不听话，也不知道是不是不吃这个规则，说它完全不吃它也吃了一点，只是把动态地址的问号拿掉了，然后照爬，一爬就是一大片，这不知道它能爬出什么东西。

搜搜蜘蛛跟雅虎蜘蛛好像差不多，感觉还是挺有效的，禁止之后没有再有它爬过的痕迹。