- 掛牌上市企業
- 60秒人工響應
- 99.99%連通率
- 7*24h人工
- 故障100倍補償
什么是Baiduspider - 百度蜘蛛 |
| 發布時間: 2012/9/18 11:30:06 |
|
百度是如何收錄到那么多網頁的呢？這個百度用以抓取互聯網上數以億計的網頁的程序，就叫做Baiduspider-百度蜘蛛。 它是一個程序，夜以繼日得在互聯網上找尋新的URL，接著抓取URL上的內容，返回到百度的網頁暫存數據庫。 百度用來抓取網頁內容的程序，叫做Baiduspider，抓取其他內容的蜘蛛，則是新的名字： 產品名稱對應user-agent 網頁搜索Baiduspider 無線搜索Baiduspider-mobile 圖片搜索Baiduspider-image 視頻搜索Baiduspider-video 新聞搜索Baiduspider-news 百度搜藏Baiduspider-favo 百度聯盟Baiduspider-cpro 不少朋友會在自己的網站日志里看到這個蜘蛛Baiduspider-cpro，現在我們明白它是百度聯盟蜘蛛，用以百度聯盟程序匹配相應的廣告。本文出自：億恩科技【www.zuiquanben.com】 |
0371-60135900
京公網安備41019702002023號
香港服務器租用
美國服務器租用
電信骨干機房
聯通骨干機房
