文章內容

各大搜索引擎蜘蛛的習慣愛好

發布時間: 2012/7/16 10:37:16

做SEO每天打交道最多的就是搜索引擎放出來的小機器人，也叫搜索引擎蜘蛛，我們要做的事情就是把它們伺候好，順其意投其好。

　　一、列舉一下各大搜索引擎蜘蛛的名字

　　google蜘蛛： googlebot，百度蜘蛛：baiduspider，搜狗蜘蛛：sogou spider，搜搜蜘蛛：Sosospider，yahoo蜘蛛：slurp，alexa蜘蛛：ia_archiver，msn蜘蛛：msnbot，altavista蜘蛛：scooter，lycos蜘蛛： lycos_spider_(t-rex)，alltheweb蜘蛛： fast-webcrawler，inktomi蜘蛛： slurp，有道蜘蛛：YodaoBot和OutfoxBot，熱土蜘蛛：Adminrtspider 。當然這里只是象征性的列一下，就算我們分析日志的時候看到了也不要太奇怪，又或者你想禁止它們爬你的站點也是可以的。

　　二、一句話總結蜘蛛的習慣

　　google蜘蛛：不太愛爬，但愛收錄。

　　百度蜘蛛：爬謹慎，收錄更謹慎。

　　搜搜蜘蛛：愛爬圖片，經常繞在動態地址里出不來。

　　雅虎蜘蛛：恪守規則，每次都是先爬robots.txt。

　　其他的沒有太多留意，就不多說了。

　　三、對于robots.txt的支持程度

　　全部分析可能也不現實，這里拿Disallow: /*?*分析(禁止動態頁面抓取)。

　　google表現：寫了禁止就不再爬，會在谷歌站長工具中列出來它想爬被你阻止了，如下圖：

　　百度的表現：寫了禁止之后很少爬，但是偶爾也會爬，相信是起作用了，因為越來越少，以前一天幾次現在幾天一次。

　　搜狗蜘蛛：可以說是基本不聽話，也不知道是不是不吃這個規則，說它完全不吃它也吃了一點，只是把動態地址的問號拿掉了，然后照爬，一爬就是一大片，這不知道它能爬出什么東西，如下圖：

　　搜搜蜘蛛跟雅虎蜘蛛好像差不多，感覺還是挺有效的，禁止之后沒有再有它爬過的痕跡。