網(wǎng)站建設(shè)時(shí)應(yīng)該盡量避免死鏈的產(chǎn)生
建站時(shí),由于一些操作,導(dǎo)致正常的網(wǎng)站無法被搜索引擎爬蟲訪問到,導(dǎo)致搜索引擎認(rèn)為該頁(yè)面是死鏈接。除了頁(yè)面打不開之外,以下幾點(diǎn)也會(huì)導(dǎo)致網(wǎng)站死鏈接的產(chǎn)生。
減少死鏈接的產(chǎn)生是SEO工作者的必修課。
不正確的 HTTP/HTTPS 設(shè)置會(huì)導(dǎo)致鏈接斷開
問題場(chǎng)景:
1.HTTP可以訪問,HTTPS不能訪問
2.HTTP無法訪問,HTTPS可以訪問
建議:
整個(gè)站點(diǎn)的行為是一致的,保證所有的url都是正常的 另外,百度不推薦HTTP和HTTPS共生。
阻塞導(dǎo)致死鏈接
問題場(chǎng)景:
1、用戶可以正常訪問,但是爬蟲不能。 (爬蟲爬錯(cuò)頁(yè)面)
有些網(wǎng)站由于其特殊性,用戶可以正常訪問,但是當(dāng)爬蟲訪問時(shí),卻返回了錯(cuò)誤的頁(yè)面。
2、PC端可以訪問,搜索引擎APP無法訪問
搜索引擎爬蟲可以訪問PC端頁(yè)面,但是不能訪問APP。百度官方公開課提到了這個(gè)APP接入,暗示支持對(duì)APP接入進(jìn)行分析,作為綜合評(píng)測(cè)參考。因此,百度APP訪問該網(wǎng)站并未被屏蔽。
3. DNS 禁令
一些特定的DNS服務(wù)商會(huì)禁止搜索引擎爬蟲抓取域名內(nèi)容。這是少數(shù)。畢竟目前主流的域名廠商和主流的DNS廠商都沒有做DNS屏蔽。
4.服務(wù)器站點(diǎn)政策禁止
有些服務(wù)器有自己的安全策略,會(huì)阻止百度蜘蛛爬行。在這種情況下,將生成死鏈接(網(wǎng)頁(yè) URL 鏈接,但沒有內(nèi)容)。當(dāng)整個(gè)站點(diǎn)都出現(xiàn)這種情況時(shí),可能會(huì)導(dǎo)致搜索引擎將該站點(diǎn)判斷為劣質(zhì)站點(diǎn)。將被降職。