設(shè)計(jì)爬蟲時(shí)，通常都回避動(dòng)態(tài)網(wǎng)頁(如Charkabarti，Joshi，Punera，&Pennock，2002)。識(shí)別動(dòng)態(tài)網(wǎng)頁時(shí)，只需要看URL中是否出現(xiàn)問號，含問號的就是動(dòng)態(tài)網(wǎng)頁。忽略動(dòng)態(tài)網(wǎng)頁是因?yàn)樗鼈內(nèi)菀自斐芍┲胂葳?。蜘蛛陷阱理論上是一個(gè)無限的網(wǎng)頁集合，而蜘蛛永遠(yuǎn)不能完整地遍歷這個(gè)集合。在線日歷就是一個(gè)容易被忽略的蜘蛛陷阱，它生成的動(dòng)態(tài)網(wǎng)頁中可以標(biāo)上任何日期，并包含指向后一天網(wǎng)頁的鏈接。一個(gè)爬蟲從這個(gè)日歷中找到一個(gè)網(wǎng)頁后，便會(huì)無止境地請求后一天的網(wǎng)頁。
動(dòng)態(tài)的頁面（url）屬于蜘蛛陷阱，搜索引擎蜘蛛一旦爬行進(jìn)入，很有可能會(huì)出不來、或是難以流暢的抓取，所以建議網(wǎng)頁一定是靜態(tài)或是經(jīng)過偽靜態(tài)處理的
本站文章均為永諾網(wǎng)站建設(shè)摘自權(quán)威資料，書籍，或網(wǎng)絡(luò)原創(chuàng)文章，如有版權(quán)糾紛或者違規(guī)問題，請即刻聯(lián)系我們刪除，我們歡迎您分享，引用和轉(zhuǎn)載，我們謝絕直接復(fù)制和抄襲！感謝...
猜你喜歡
聯(lián)絡(luò)方式：
電話：15038330582
郵箱：278477169@qq.com
掃描名片 
我們猜你喜歡
-
企業(yè)實(shí)現(xiàn)售后服務(wù)派工單管理系統(tǒng)軟件
一、售后服務(wù)派單軟件項(xiàng)目客戶來源介紹 老板是在百度搜索信息看到我們的官網(wǎng)網(wǎng)站，想要做一款售后派單的app軟件，所有的功能都圍繞售后服務(wù)和管理開發(fā)。老板把大概的建...
-
專注app軟件定制開發(fā)-app開發(fā)一起的公司
軟件開發(fā)公司在這方面都是一起的比較多，幾乎很少只開發(fā)單一軟件的公司。大部分公司網(wǎng)站開發(fā)的比較多，也有APP軟件和IOS軟件同時(shí)都能開發(fā)的。目前南方城市和一線城市是最多...
-
物業(yè)管理APP軟件開發(fā)
一.物業(yè)管理APP軟件開發(fā)概述 物業(yè)管理APP軟件的開發(fā)是以服務(wù)物業(yè)管理為主的app軟件，為當(dāng)?shù)匦^(qū)的人員提供專業(yè)化的生活服務(wù)。 二.物業(yè)管理APP軟件都有哪些功能？ ...
-
汽車維修預(yù)約小程序開發(fā)價(jià)格
大部分人都有車，目前來說購車也是一次性的消費(fèi)，還包含了汽車的維護(hù)，商業(yè)險(xiǎn)，洗車錢，維護(hù)費(fèi)等，這也促使了汽車行業(yè)小程序的發(fā)展。 汽車維修小程序的功能 汽車維修保養(yǎng)小...
-
做一個(gè)微信小程序大概多少錢
微信小程序是目前市場最火的軟件呢，適合所有的行業(yè)和門店引流轉(zhuǎn)化，在線預(yù)約，商城網(wǎng)站等市場的需求。 微信小程序的投入成本五花八門，多少錢的都有，每個(gè)方式都有自己的優(yōu)...
