999久久久国产精品-999久久久精品视频在线观看-999久久久免费精品国产牛牛-999久久免费高清热精品-999热成人精品国产免

百度蜘蛛為什么會(huì)抓取網(wǎng)站不存在的路徑?

2014-01-20 關(guān)鍵詞: 3427

很多人反映說網(wǎng)站一些頁面已經(jīng)被刪除了,源文件中不存在 ,可是百度快照里面卻一直顯示存在,打開頁面肯定是打不開了,很多人為此很是頭疼!

       1、蜘蛛是怎么發(fā)現(xiàn)我們網(wǎng)站的鏈接的

我們都知道,蜘蛛是沿著鏈接爬來爬去的,他會(huì)自動(dòng)提取網(wǎng)站中所有的鏈接,保存入庫,然后進(jìn)行爬取,這也就是為什么我們覺得網(wǎng)站的收錄少了或者剛發(fā)布的文章沒有被收錄,我們就會(huì)說“引蜘蛛”了,其實(shí)引蜘蛛就是發(fā)外鏈了,當(dāng)這條鏈接唄蜘蛛發(fā)現(xiàn)之后,他就會(huì)進(jìn)行爬取,然后通過一系列復(fù)雜的算法之后,決定是否放出該頁面的收錄。

2、為什么會(huì)爬到不存在的頁面

一般情況下,有這么幾個(gè)問題

a、被對(duì)手惡意刷外鏈,也就是說競(jìng)爭(zhēng)對(duì)手惡意的給你發(fā)了很多的不存在的頁面鏈接,當(dāng)蜘蛛發(fā)現(xiàn)之后就會(huì)來爬取

b、以前做的外鏈,后來由于網(wǎng)站改版而某些鏈接沒有及時(shí)的去除,蜘蛛定期回訪的時(shí)候爬取了這條鏈接

c、此種僅限老域名,之前的網(wǎng)站結(jié)構(gòu)和我們現(xiàn)在的網(wǎng)站結(jié)構(gòu)不一致,也類似于b中的說法

d、robots文件沒有對(duì)蜘蛛進(jìn)行限制

e、程序的原因,導(dǎo)致搜索引擎蜘蛛掉入黑洞

f、url提交或者ping給百度地址有誤

蜘蛛爬取不存在的頁面,一般情況下都是由于這些問題導(dǎo)致的,其中最主要的原因就是外鏈部分,所以我們要經(jīng)常性的去檢查下我們網(wǎng)站的外鏈情況。

下面提供解決辦法:

這些方面綜合來講,一般我們只需要這么做,基本就能夠減少這種情況的發(fā)生,如果是鏈接導(dǎo)致的,那么就去百度站長平臺(tái)使用外鏈拒絕工具拒絕掉,并提交網(wǎng)站的死鏈接,同時(shí)使用robots屏蔽蜘蛛抓取這些內(nèi)容;如果是程序問題,就修復(fù)程序

首頁 網(wǎng)站建設(shè) 小程序 品牌設(shè)計(jì) 服務(wù)項(xiàng)目 案例展示 售后保障 聯(lián)系方式 新聞中心 關(guān)于我們 人才招聘
我們的優(yōu)勢(shì)

細(xì)致入微的前期服務(wù)
精準(zhǔn)的策劃服務(wù)
精湛的網(wǎng)頁設(shè)計(jì)
穩(wěn)定 可靠 極速的域名和服務(wù)器
任何問題,24小時(shí)回復(fù)并處理

版權(quán)所有:蘇州謝謝網(wǎng)絡(luò)傳媒有限公司  蘇ICP備11087090號(hào)   

首頁 電話 服務(wù)項(xiàng)目
主站蜘蛛池模板: 美国黄色片网站 | 日韩精品久久久久久久电影 | 精品国产精品久久一区免费式 | 亚洲国产精品a一区 | 俄罗斯aa毛片极品 | 国产成人短视频在线观看免费 | 久久精品视频免费在线观看 | 91短视频在线观看手机 | 成人国产第一区在线观看 | zoofilia杂交videos新人妖 | 免费一级毛片一级毛片aa | 久久精品综合一区二区三区 | 亚洲欧洲国产综合 | 亚洲成a人片在线观看www流畅 | 女人高清性色生活片 | 黄色在线观看视频网站 | 久久亚洲影院 | 清纯唯美亚洲综合激情 | 国产第一页在线视频 | 国产欧美在线观看 | 99久久精品免费精品国产 | 国产高清视频在线免费观看 | 免费黄色大片网站 | 国产在线欧美日韩一区二区 | 鸥美肥妇特级毛片视频 | 中国性视频| 国产精品长腿丝袜第一页 | 日韩欧美精品一区二区三区 | 日本无翼乌邪恶大全彩h邪恶师 | 小明看片| 黄网在线观看免费 | 色天天综合久久久久综合片 | 久久99视频 | 国产在视频线精品视频 | 国产亚洲欧美在线视频 | 中文字幕一区二区三区不卡 | 中国黄色网址大全 | 能免费看黄的网站 | 成人影院在线观看kkk4444 | 美腿丝袜国产精品第一页 | 亚洲一区免费 |