解說(shuō)URL權重，以目錄深度評估網(wǎng)頁(yè)重要度參考

1、URL權值的設定：根據URL的目錄深度來(lái)定，深度是多少，權值就減少多少，權值最小為零。

2、URL中出現字符”/”，”?”，或”&” 1次,則權值減1，出現”search”，”proxy”，或”gate” 1次，則權值減2；最多減到零。

       （包含”?”，或”&”的URL是帶參數的形式，需要經(jīng)過(guò)被請求方程序服務(wù)獲得網(wǎng)頁(yè)，不是搜索引擎系統側重的靜態(tài) 網(wǎng)頁(yè)，因此權值相應降低。包含”search”，”proxy”，或”gate”，說(shuō)明該網(wǎng)頁(yè)極大可能是搜索引擎中檢索的結果頁(yè)面，代理頁(yè)面，因此要降低 權值）。

3、定URL初始權值為10（此值設定的越小，從未訪(fǎng)問(wèn)URL集合中排序輸出就越快。但是也不能太小，否則URL的權值意義就不大了，導致搜集策略不明顯）；

4、選擇未訪(fǎng)問(wèn)URL的策略。

       因為權值小不一定說(shuō)明不重要，所以有必要給一定的機會(huì )搜集權值小的未訪(fǎng)問(wèn)URL。選擇未訪(fǎng)問(wèn)URL的策略可以采用輪流 的方法進(jìn)行，一次按照權值排序取，一次隨機??；或者N次按照權值排序取，M次隨機?。∟1，M1）。

     N，M 的選擇可以根據系統實(shí)際運行情況獲得。

例如：URL多樣化

  抓取優(yōu)先級

        爬蟲(chóng)順著(zhù)一個(gè)個(gè)的URL在互聯(lián)網(wǎng)上抓取網(wǎng)頁(yè)，它一邊下載這個(gè)網(wǎng)頁(yè)，一邊在提取這個(gè)網(wǎng)頁(yè)中的鏈接。假設從搜索引擎某一個(gè)節點(diǎn)出來(lái)的爬蟲(chóng)有爬蟲(chóng)A、爬蟲(chóng)B、爬蟲(chóng)C，當它們到達www.ifaceseo.com這個(gè)網(wǎng)站的時(shí)候，每個(gè)爬蟲(chóng)都會(huì )抓取到很多URL

    這里會(huì )有一個(gè)待抓取列表

重慶網(wǎng)絡(luò )公司