蜘蛛爬取有陷阱,謹(jǐn)慎!
2015-04-22 11:05:56

有蜘蛛爬取,網(wǎng)站才會(huì)有收錄。但是蜘蛛抓取過(guò)程中,存在陷阱!知道蜘蛛陷阱是什么嘛?蜘蛛陷阱是制止蜘蛛爬行網(wǎng)站的停滯物,對(duì)用戶是沒(méi)有影響的,網(wǎng)頁(yè)也沒(méi)有明顯的體現(xiàn),但是里面就存在陷阱!網(wǎng)站優(yōu)化SEO不得不知道的蜘蛛陷阱,滄州網(wǎng)站建設(shè)優(yōu)化公司總結(jié)如下:
1. Flash動(dòng)畫(huà)
為什么Flash是蜘蛛陷阱的一種,這個(gè)問(wèn)題很簡(jiǎn)單,就是由于蜘蛛辨認(rèn)不了Flash。蜘蛛是不能通過(guò)這個(gè)Flash跟蹤到HTML版本頁(yè)面的。這就是一個(gè)陷阱,攔截了蜘蛛繼承抓取網(wǎng)站。
2. JS鏈接
Javascript可以創(chuàng)造出很多吸引人得視覺(jué)結(jié)果,有些網(wǎng)站喜好利用Javascript腳本天生導(dǎo)航體系。但是蜘蛛敷衍js也是辨認(rèn)不了的,敷衍js殊效可以到場(chǎng)網(wǎng)站,也可以將不被抓取的鏈接放入js,但是舉行爬行抓取的鏈接肯定不能放入JS,這會(huì)造成蜘蛛不能繼承爬行,同時(shí)js也不要太多,可以專門(mén)建一個(gè)js文件。
3. 動(dòng)態(tài)URL
蜘蛛是可以抓取部門(mén)URL鏈接的,但是動(dòng)態(tài)URL是數(shù)據(jù)庫(kù)直接天生的,有的帶了問(wèn)號(hào)、等號(hào)等多個(gè)參數(shù)。這類網(wǎng)址不但倒霉于搜刮引擎蜘蛛爬行,而且還大概造成蜘蛛的死循環(huán),這是一個(gè)致命的蜘蛛陷阱。靜態(tài)網(wǎng)址在程度上由于動(dòng)態(tài)網(wǎng)址,便于蜘蛛的抓取。
4. Session ID
有些網(wǎng)站為了跟蹤用戶訪問(wèn)利用Session ID,每個(gè)用戶訪問(wèn)網(wǎng)站時(shí)都是得Session ID,也即ID。這個(gè)ID都是加在URL中,搜刮引擎蜘蛛的每一次訪問(wèn)也會(huì)被當(dāng)成一個(gè)新得用戶在URL中會(huì)加上一個(gè)差別的ID,如許蜘蛛每次來(lái)訪問(wèn)時(shí)所的同一個(gè)頁(yè)面會(huì)是一個(gè)不一樣的URL。結(jié)果就很顯著,如許一來(lái)會(huì)產(chǎn)生復(fù)制內(nèi)容頁(yè)面,造成了高度重復(fù)的內(nèi)容頁(yè)。
5. Frame框架
框架結(jié)構(gòu)對(duì)蜘蛛來(lái)說(shuō)和Flash、js一樣都是一道墻,框架結(jié)構(gòu)也會(huì)攔阻搜刮引擎蜘蛛的爬行和抓取,讓蜘蛛掉進(jìn)陷阱。
6. 要求登錄
這個(gè)是很常見(jiàn)的,有些網(wǎng)站內(nèi)容放在用戶登錄之后才氣看到,設(shè)置有的整個(gè)網(wǎng)站只能登岸進(jìn)入后才氣看,這敷衍用戶固然沒(méi)什么,而敷衍蜘蛛就造成陷阱,為什么?由于蜘蛛不能填寫(xiě)用戶名、暗碼、也不會(huì)注冊(cè),自然而然,蜘蛛不能進(jìn)來(lái)抓取你的內(nèi)容,以是除非是VIP內(nèi)容大概是不蜘蛛抓取的內(nèi)容,別的的應(yīng)該對(duì)蜘蛛公然,如許才氣抓取。
7. 欺壓利用Cookies
有些網(wǎng)站為了實(shí)現(xiàn)某種成果、如記取用戶登錄信息、跟蹤用戶訪問(wèn)路徑等、欺壓用戶利用Cookies、用戶欣賞器假如沒(méi)有啟用Cookies、頁(yè)面體現(xiàn)不正常。搜刮引擎蜘蛛就相稱于一個(gè)禁用Cookies得欣賞器、欺壓利用Cookies只能造成搜刮引擎蜘蛛無(wú)法正常訪問(wèn)。
8.種種跳轉(zhuǎn)
現(xiàn)在比力發(fā)起的網(wǎng)站跳轉(zhuǎn)就是301、302重定向,而別的跳轉(zhuǎn),蜘蛛黑白常的敏感。
9.網(wǎng)站鏈接結(jié)構(gòu)
敷衍蜘蛛而言,我們重要說(shuō)的就是網(wǎng)站的鏈接結(jié)構(gòu),網(wǎng)站的鏈接結(jié)構(gòu)就便是一個(gè)屋子,鏈接就是門(mén),而蜘蛛就是我們約請(qǐng)而來(lái)的朋儕,網(wǎng)站鏈接結(jié)構(gòu)槽糕紊亂就相稱于朋儕來(lái)到你家后基礎(chǔ)就分不清楚東南西北,找不到入口出口。連對(duì)應(yīng)的鏈接都找不到,蜘蛛怎樣舉行抓爬?以是鏈接結(jié)構(gòu)還是呈扁平樹(shù)狀結(jié)構(gòu)。
蜘蛛能夠抓取到我們網(wǎng)站的內(nèi)容是很重要的,有抓取才會(huì)有收錄,有收錄才會(huì)有流量,有流量才會(huì)有客戶,這都是一系列的聯(lián)系的。滄州網(wǎng)站優(yōu)化推廣謹(jǐn)記蜘蛛陷阱,避免自己進(jìn)入到這個(gè)陷阱當(dāng)中。
關(guān)鍵詞:網(wǎng)站優(yōu)化SEO、滄州網(wǎng)站建設(shè)優(yōu)化公司、滄州網(wǎng)站優(yōu)化推廣