天蠶重慶網(wǎng)絡(luò )公司編者語(yǔ)：用小偷的例子來(lái)比喻百度的蜘蛛。百度為什么能夠收錄我們的網(wǎng)站呢?他肯定是有爬取程序的。他肯定是會(huì )下載我們的內容的。怎么爬取我們的程序呢?很簡(jiǎn)單是因為有鏈接誘餌。小偷為什么會(huì )去偷可能是因為他不關(guān)窗戶(hù)，可能是因為太不低調了。他有可能是因為隨手帶門(mén)，他有可能是因為他的社交圈子的影響。等等等等各種連接誘餌就是讓小偷更有可能接近他的家，你明白了嗎?

很多新的東西。不要緊，重復的聽(tīng)，對吧。你要給這小偷露誘餌。其實(shí)我們生活中很多很多家庭會(huì )失竊，就是因為我們太大意了，我們留給了這些小偷誘餌。平時(shí)太張揚，不是很低調，穿金戴銀。脖子上戴一個(gè)很粗的狗鏈子，最喜歡黃金的，有的是白金的。你有時(shí)候說(shuō)話(huà)過(guò)分囂張。讓人感覺(jué)到你有錢(qián)可取。第二個(gè)就是你不愛(ài)關(guān)窗戶(hù)，你有時(shí)候把門(mén)是隨便帶上的。這些東西都是勾引了小偷。對還是不對?

雖然我舉的這個(gè)例子不太妥當，但是非常的形象。其實(shí)蜘蛛它也類(lèi)似于一個(gè)小偷，我們允許蜘蛛來(lái)爬取我們的網(wǎng)站了嗎?他就來(lái)偷你東西了。我們怎么讓蜘蛛偷到你的東西呢?很簡(jiǎn)單，你肯定要布鏈接誘餌。是不是我們又得到了一個(gè)東西叫做鏈接誘餌。一節課下來(lái)你會(huì )發(fā)現你得到很多新的東西。不要緊，重復的聽(tīng)，對吧。你要給這小偷露誘餌。其實(shí)我們生活中很多很多家庭會(huì )失竊，就是因為我們太大意了，我們留給了這些小偷誘餌。平時(shí)太張揚，不是很低調，穿金戴銀。脖子上戴一個(gè)很粗的狗鏈子，最喜歡黃金的，有的是白金的。你有時(shí)候說(shuō)話(huà)過(guò)分囂張。讓人感覺(jué)到你有錢(qián)可取。第二個(gè)就是你不愛(ài)關(guān)窗戶(hù)，你有時(shí)候把門(mén)是隨便帶上的。這些東西都是勾引了小偷。對還是不對?

天蠶重慶網(wǎng)絡(luò )公司總結：為什么會(huì )有爬取程序，爬取程序是干嗎的?你有沒(méi)有想過(guò)。我想問(wèn)問(wèn)大家，百度為什么能夠收錄我們的文章和頁(yè)面?難道百度有神通，他自然就知道你的文章和頁(yè)面了?不可能的。他肯定是要抓取的。說(shuō)白了他是需要先爬取后下載吧。爬取這樣一個(gè)程序，就跟你去別人家里一樣，就跟小偷到別人家里面去偷一個(gè)東西一樣。難道他有神通?他不可能有神通的。他先得爬窗戶(hù)，把窗戶(hù)給敲了，門(mén)給敲了，然后進(jìn)去，去拿了東西再出來(lái)。