咨询热线:400-6786206

让网络营销更简单有效

首页  > 公司新闻  > 环球实战学院  >  各大搜索引擎蜘蛛的特点
各大搜索引擎蜘蛛的特点
2011-11-02

做SEO每天打交道最多的就是搜索引擎放出来的小机器人,也叫搜索引擎蜘蛛,我们要做的事情就是把它们伺候好,顺其意投其好。下面环球视野为你介绍下各大搜索引擎蜘蛛的特点。

一、各大搜索引擎蜘蛛介绍

google蜘蛛: googlebot;百度蜘蛛:baiduspider;搜狗蜘蛛:sogou spider;搜搜蜘蛛:Sosospider;yahoo蜘蛛:slurp;alexa蜘蛛:ia_archiver;msn蜘蛛:msnbot;altavista蜘蛛:scooter;lycos蜘蛛: lycos_spider_(t-rex);alltheweb蜘蛛: fast-webcrawler;inktomi蜘蛛: slurp;有道蜘蛛:YodaoBot和OutfoxBot;热土蜘蛛:Adminrtspider 。

二、各大搜索引擎蜘蛛的习惯

百度蜘蛛:爬谨慎,收录更谨慎。

google蜘蛛:不太爱爬,但爱收录。

搜搜蜘蛛:爱爬图片,经常绕在动态地址里出不来。

雅虎蜘蛛:恪守规则,每次都是先爬robots.txt。

三、对于robots.txt的支持程度

google表现:写了禁止就不再爬,会在谷歌站长工具中列出来它想爬被你阻止了。

百度的表现:写了禁止之后很少爬,但是偶尔也会爬,相信是起作用了,因为越来越少,以前一天几次现在几天一次。

搜狗蜘蛛:可以说是基本不听话,也不知道是不是不吃这个规则,说它完全不吃它也吃了一点,只是把动态地址的问号拿掉了,然后照爬,一爬就是一大片,这不知道它能爬出什么东西。

搜搜蜘蛛跟雅虎蜘蛛好像差不多,感觉还是挺有效的,禁止之后没有再有它爬过的痕迹。



联系方式