設(shè)計(jì)爬蟲時(shí),通常都回避動(dòng)態(tài)網(wǎng)頁(如Charkabarti,Joshi,Punera,&Pennock,2002)。識(shí)別動(dòng)態(tài)網(wǎng)頁時(shí),只需要看URL中是否出現(xiàn)問號,含問號的就是動(dòng)態(tài)網(wǎng)頁。忽略動(dòng)態(tài)網(wǎng)頁是因?yàn)樗鼈內(nèi)菀自斐芍┲胂葳?。蜘蛛陷阱理論上是一個(gè)無限的網(wǎng)頁集合,而蜘蛛永遠(yuǎn)不能完整地遍歷這個(gè)集合。在線日歷就是一個(gè)容易被忽略的蜘蛛陷阱,它生成的動(dòng)態(tài)網(wǎng)頁中可以標(biāo)上任何日期,并包含指向后一天網(wǎng)頁的鏈接。一個(gè)爬蟲從這個(gè)日歷中找到一個(gè)網(wǎng)頁后,便會(huì)無止境地請求后一天的網(wǎng)頁。
動(dòng)態(tài)的頁面(url)屬于蜘蛛陷阱,搜索引擎蜘蛛一旦爬行進(jìn)入,很有可能會(huì)出不來、或是難以流暢的抓取,所以建議網(wǎng)頁一定是靜態(tài)或是經(jīng)過偽靜態(tài)處理的

本站文章均為永諾網(wǎng)站建設(shè)摘自權(quán)威資料,書籍,或網(wǎng)絡(luò)原創(chuàng)文章,如有版權(quán)糾紛或者違規(guī)問題,請即刻聯(lián)系我們刪除,我們歡迎您分享,引用和轉(zhuǎn)載,我們謝絕直接復(fù)制和抄襲!感謝...
猜你喜歡
聯(lián)絡(luò)方式:
電話:15038330582
郵箱:278477169@qq.com
掃描名片

我們猜你喜歡
-
企業(yè)實(shí)現(xiàn)售后服務(wù)派工單管理系統(tǒng)軟件
一、售后服務(wù)派單軟件項(xiàng)目客戶來源介紹 老板是在百度搜索信息看到我們的官網(wǎng)網(wǎng)站,想要做一款售后派單的app軟件,所有的功能都圍繞售后服務(wù)和管理開發(fā)。老板把大概的建...
-
專注app軟件定制開發(fā)-app開發(fā)一起的公司
軟件開發(fā)公司在這方面都是一起的比較多,幾乎很少只開發(fā)單一軟件的公司。大部分公司網(wǎng)站開發(fā)的比較多,也有APP軟件和IOS軟件同時(shí)都能開發(fā)的。目前南方城市和一線城市是最多...
-
物業(yè)管理APP軟件開發(fā)
一.物業(yè)管理APP軟件開發(fā)概述 物業(yè)管理APP軟件的開發(fā)是以服務(wù)物業(yè)管理為主的app軟件,為當(dāng)?shù)匦^(qū)的人員提供專業(yè)化的生活服務(wù)。 二.物業(yè)管理APP軟件都有哪些功能? ...
-
汽車維修預(yù)約小程序開發(fā)價(jià)格
大部分人都有車,目前來說購車也是一次性的消費(fèi),還包含了汽車的維護(hù),商業(yè)險(xiǎn),洗車錢,維護(hù)費(fèi)等,這也促使了汽車行業(yè)小程序的發(fā)展。 汽車維修小程序的功能 汽車維修保養(yǎng)小...
-
做一個(gè)微信小程序大概多少錢
微信小程序是目前市場最火的軟件呢,適合所有的行業(yè)和門店引流轉(zhuǎn)化,在線預(yù)約,商城網(wǎng)站等市場的需求。 微信小程序的投入成本五花八門,多少錢的都有,每個(gè)方式都有自己的優(yōu)...