- 掛牌上市企業(yè)
- 60秒人工響應(yīng)
- 99.99%連通率
- 7*24h人工
- 故障100倍補(bǔ)償
百度抓取異常問(wèn)答 |
| 發(fā)布時(shí)間: 2012/9/22 11:09:02 |
|
百度抓取異常問(wèn)答
1、什么是抓取異常
對(duì)于互聯(lián)網(wǎng)中可正常訪問(wèn)的頁(yè)面，百度蜘蛛抓取的內(nèi)容應(yīng)與普通用戶訪問(wèn)到的內(nèi)容是一致的，除此以外的
情況，就是抓取異常。
2、抓取異常對(duì)網(wǎng)站的影響有哪些
若網(wǎng)站中有大量抓取異常的網(wǎng)頁(yè)存在，搜索引擎會(huì)認(rèn)為網(wǎng)站存在用戶體驗(yàn)上的缺陷，并降低對(duì)網(wǎng)站的評(píng)價(jià)
，最終影響到網(wǎng)站在百度搜索引擎中的表現(xiàn)。
3、什么是死鏈
頁(yè)面已經(jīng)無(wú)效，無(wú)法對(duì)用戶提供任何有價(jià)值信息的頁(yè)面就是死鏈接，包括協(xié)議死鏈和內(nèi)容死鏈兩種形式。
協(xié)議死鏈：頁(yè)面的TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)明確表示的死鏈，常見的如404、403、503狀態(tài)等。
內(nèi)容死鏈：服務(wù)器返回狀態(tài)是正常的，但內(nèi)容已經(jīng)變更為不存在、已刪除或需要權(quán)限等與原內(nèi)容無(wú)關(guān)的信
息頁(yè)面。
對(duì)于死鏈，建議及時(shí)修復(fù)死鏈數(shù)據(jù)，或進(jìn)行死鏈數(shù)據(jù)推送，以便搜索引擎更快地發(fā)現(xiàn)死鏈，減少死鏈對(duì)用
戶以及搜索引擎的影響。
4、什么是IP禁封
限制網(wǎng)絡(luò)的出口IP地址，禁止該IP段的使用者進(jìn)行內(nèi)容訪問(wèn)，即為IP禁封。
5、什么是UA禁封
UA即為用戶代理（User-Agent），服務(wù)器通過(guò)UA識(shí)別訪問(wèn)者的身份。當(dāng)網(wǎng)站針對(duì)指定UA的訪問(wèn)，返回異常
頁(yè)面（如403，500）或跳轉(zhuǎn)到其他頁(yè)面的情況，即為UA禁封。
6、什么是異常重定向
將網(wǎng)絡(luò)請(qǐng)求重新指向其他位置即為重定向。常見的重定向有兩種：永久重定向（301跳轉(zhuǎn)協(xié)議）和暫時(shí)重
定向（302跳轉(zhuǎn)協(xié)議），目前百度都可以識(shí)別和支持。
對(duì)于長(zhǎng)時(shí)間跳轉(zhuǎn)到其他域名的情況，如網(wǎng)站更換域名，建議您使用301跳轉(zhuǎn)協(xié)議。
7、還有哪些其他異常
針對(duì)百度refer的作弊：網(wǎng)頁(yè)針對(duì)來(lái)自百度的refer返回不同于正常內(nèi)容的行為。
針對(duì)百度ua的作弊：網(wǎng)頁(yè)對(duì)百度UA返回不同于頁(yè)面原內(nèi)容的行為。
JS跳轉(zhuǎn)作弊：網(wǎng)頁(yè)加載了百度無(wú)法識(shí)別的JS跳轉(zhuǎn)代碼，使得用戶通過(guò)搜索結(jié)果進(jìn)入頁(yè)面后發(fā)生了跳轉(zhuǎn)的情
況。
壓力過(guò)大引起的偶然禁封：百度會(huì)根據(jù)站點(diǎn)的規(guī)模，訪問(wèn)量等信息，自動(dòng)設(shè)定一個(gè)合理的抓取壓力。但是
在異常情況下，如壓力控制失常時(shí)，服務(wù)器會(huì)根據(jù)自身負(fù)荷進(jìn)行保護(hù)性的偶然封禁。這種情況下，請(qǐng)?jiān)诜?/div>
回碼中返回503(其含義是 “Service Unavailable”)，百度蜘蛛會(huì)過(guò)段時(shí)間再來(lái)嘗試抓取這個(gè)鏈接，如
果網(wǎng)站已空閑，則會(huì)被成功抓取。 本文出自：億恩科技【www.zuiquanben.com】 服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM] |
0371-60135900
京公網(wǎng)安備41019702002023號(hào)
香港服務(wù)器租用
美國(guó)服務(wù)器租用
電信骨干機(jī)房
聯(lián)通骨干機(jī)房
