什么是 Robots META 標呢？其寫(xiě)法有如何呢？下面有我們來(lái)告訴你吧；
Robots META 標
Robots.txt 文件主要是限制整個(gè)站點(diǎn)或者目錄的搜索引擎訪(fǎng)問(wèn)情況，而 Robots META 標簽則主要是針對一個(gè)個(gè)具體的頁(yè)面。和其他的 META 標簽（如使用的語(yǔ)言、頁(yè)面的描述、關(guān)鍵詞等）一樣， Robots META 標簽也是放在頁(yè)面的 <head></head> 中，專(zhuān)門(mén)用來(lái)告訴搜索引擎 ROBOTS 如何抓取該頁(yè)的內容。具體的形式類(lèi)似：
<html>
<head>
<title> 時(shí)代營(yíng)銷(xiāo) -- 網(wǎng)絡(luò )營(yíng)銷(xiāo)專(zhuān)業(yè)門(mén)戶(hù) </title>
<meta name="Robots" content="index,follow">
<meta http-equiv="Content-Type" CONTENT="text/html; charset=gb2312">
<meta name="keywords" content=" 營(yíng)銷(xiāo) … ">
<meta name="description" content=" 時(shí)代營(yíng)銷(xiāo)網(wǎng)是 …">
<link rel="stylesheet" href="/public/css.css" type="text/css">
</head>
<body>…</body>
</html>
Robots META 標簽的寫(xiě)法
Robots META 標簽中沒(méi)有大小寫(xiě)之分， name=”Robots” 表示所有的搜索引擎，可以針對某個(gè)具體搜索引擎寫(xiě)為 name=”BaiduSpider” 。 content 部分有四個(gè)指令選項： index 、 noindex 、 follow 、 nofollow ，指令間以 “,” 分隔。
- INDEX 指令告訴搜索機器人抓取該頁(yè)面；
- FOLLOW 指令表示搜索機器人可以沿著(zhù)該頁(yè)面上的鏈接繼續抓取下去；
- Robots Meta 標簽的缺省值是 INDEX 和 FOLLOW ，只有 inktomi 除外，對于它，缺省值是 INDEX,NOFOLLOW 。
這樣，一共有四種組合：
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
其中 :
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"> 可以寫(xiě)成
<META NAME="ROBOTS" CONTENT="ALL"> ；
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"> 可以寫(xiě)成
<META NAME="ROBOTS" CONTENT="NONE">
需要注意的是：上述的 robots.txt 和 Robots META 標簽限制搜索引擎機器人（ ROBOTS ）抓取站點(diǎn)內容的辦法只是一種規則，需要搜索引擎機器人的配合才行，并不是每個(gè) ROBOTS 都遵守的。
目前看來(lái)，絕大多數的搜索引擎機器人都遵守 robots.txt 的規則，而對于 Robots META 標簽，目前支持的并不多，但是正在逐漸增加，如著(zhù)名搜索引擎 GOOGLE 就完全支持，而且 GOOGLE 還增加了一個(gè)指令 “archive” ，可以限制 GOOGLE 是否保留網(wǎng)頁(yè)快照。例如：
<META NAME="googlebot" CONTENT="index,follow,noarchive">
表示抓取該站點(diǎn)中頁(yè)面并沿著(zhù)頁(yè)面中鏈接抓取，但是不在 GOOLGE 上保留該頁(yè)面的網(wǎng)頁(yè)快照。
重慶網(wǎng)絡(luò )公司
渝公網(wǎng)安備 50010302000872號