新聞中心
運(yùn)營(yíng)知識(shí) | 網(wǎng)站運(yùn)營(yíng)之禁止搜索引擎收錄和傳遞權(quán)重的方法及注意事項(xiàng)
為了避免網(wǎng)站內(nèi)部競(jìng)爭(zhēng)等原因,我們常常需要禁止搜索引擎收錄某些特定頁(yè)面或者網(wǎng)站。這種禁止傳遞權(quán)重或者禁止搜索引擎收錄的方法有很多,今天就來(lái)推薦幾種常用的禁止搜索引擎收錄網(wǎng)站的方法。
一、A標(biāo)簽加nofollow屬性值禁止傳遞權(quán)重
此方法可以用于站內(nèi)的鏈接,也可以用于站外的鏈接。顧名思義就是告訴搜索引擎,該鏈接頁(yè)面我不準(zhǔn)備向他傳遞任何權(quán)重。
早些年就有一些SEOER利用NOFOLLOW標(biāo)簽試圖操作搜索引擎的鏈接流動(dòng)。后期有不少SEO大牛給出一種假設(shè),就是每個(gè)頁(yè)面都會(huì)有一個(gè)相當(dāng)?shù)臋?quán)重值,比如某個(gè)頁(yè)面權(quán)重是1它也可以像外面投出100個(gè)鏈接的投票,那么每個(gè)鏈接傳遞的權(quán)重就是0.01,如果該頁(yè)面100個(gè)鏈接中有30個(gè)是加了NOFOLLOW標(biāo)簽的,那么你就等于浪費(fèi)掉了這30票。
使用NOFOLLOW標(biāo)簽需要注意的是,如果只是通過(guò)NOFOLLOW標(biāo)簽來(lái)禁止蜘蛛爬行的話。搜索引擎很有可能通過(guò)其他其他渠道訪問(wèn)到該頁(yè)面,并進(jìn)行索引。
具體寫法:
nofollow百度百科的解釋:
這個(gè)標(biāo)簽的意義是告訴搜索引擎"不要追蹤此網(wǎng)頁(yè)上的鏈接或不要追蹤此特定鏈接"。
nofollow[1] 是一個(gè)HTML標(biāo)簽的屬性值。它的出現(xiàn)為網(wǎng)站管理員提供了一種方式,即告訴搜索引擎"不要追蹤此網(wǎng)頁(yè)上的鏈接"或"不要追蹤此特定鏈接"。這個(gè)標(biāo)簽的意義是告訴搜索引擎這個(gè)鏈接不是經(jīng)過(guò)作者信任的,所以這個(gè)鏈接不是一個(gè)信任票。
nofollow標(biāo)簽是由谷歌領(lǐng)頭創(chuàng)新的一個(gè)“反垃圾鏈接”的標(biāo)簽,并被百度、yahoo等各大搜索引擎廣泛支持,引用nofollow標(biāo)簽的目的是:用于指示搜索引擎不要追蹤(即抓取)網(wǎng)頁(yè)上的帶有nofollow屬性的任何出站鏈接,以減少垃圾鏈接的分散網(wǎng)站權(quán)重!
簡(jiǎn)單的說(shuō)就是,如果A網(wǎng)頁(yè)上有一個(gè)鏈接指向B網(wǎng)頁(yè),但A網(wǎng)頁(yè)給這個(gè)鏈接加上了 rel="nofollow" 標(biāo)注,則搜索引擎不把A網(wǎng)頁(yè)計(jì)算入B網(wǎng)頁(yè)的反向鏈接。搜索引擎看到這個(gè)標(biāo)簽就可能減少或完全取消鏈接的投票權(quán)重。
二、META標(biāo)簽禁止傳遞權(quán)重
MEAT標(biāo)簽禁止搜索引擎收錄的原理和NOFOLLOW屬性標(biāo)簽一樣,是通過(guò)該標(biāo)簽,告訴搜索引擎,該頁(yè)面的所有連接都不準(zhǔn)備傳遞權(quán)重。只不過(guò)該標(biāo)簽是設(shè)置在該頁(yè)面的META標(biāo)簽里面的。
具體寫法: 注釋:大小寫沒(méi)所謂
三、META標(biāo)簽禁止收錄當(dāng)前頁(yè)面
設(shè)置原理同上,也是放到使用頁(yè)面的MEAT標(biāo)簽里面。通過(guò)該標(biāo)簽,可以告訴搜索引擎,禁止收錄該頁(yè)面。
具體寫法:
四、robots.txt文件
robots協(xié)議(也稱為爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議等)的全稱是“網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)”(Robots Exclusion Protocol),網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取,哪些頁(yè)面不能抓取。
robots.txt(請(qǐng)使用小寫)是存在于網(wǎng)站根目錄下的一個(gè)TXT文件,一般來(lái)說(shuō)蜘蛛在爬行網(wǎng)頁(yè)之前都得先去檢索這個(gè)文件。記得今年360搜索引擎還敗訴給百度,就是因?yàn)榘俣仍O(shè)置了某些網(wǎng)頁(yè)不允許任何搜索引擎索引抓取,而360違反了這個(gè)規(guī)則??梢?jiàn)現(xiàn)在ROBOTS規(guī)則已經(jīng)明確列入到法律的范圍了,所以用這個(gè)協(xié)議禁止搜索引擎收錄,爬行,是最有效的辦法。
使用方法如下:
User-agent: * 注釋:所有搜索引擎
Allow: / 注釋:允許抓取所有文件
Disallow: /news/ 注釋:禁止抓取news欄目下的文件
需要注意的是, (冒號(hào))后面是需要加空格的,而且規(guī)則的第一個(gè)字母要求大寫(欄目和文件不用),如果格式寫錯(cuò)了會(huì)造成不可估量的損失。因?yàn)橛械木W(wǎng)站編碼的問(wèn)題,或者其他問(wèn)題經(jīng)常導(dǎo)致類似事件發(fā)生。所以建議各位SEOER還是使用工具來(lái)生成。對(duì)于那些已經(jīng)生成ROBOTS的SEOER可以用下面的地址去檢測(cè)是否設(shè)置正確。
百度站長(zhǎng)平臺(tái):ROBOTS檢驗(yàn)工具
ROBOTS生成工具
今天的分享就到這里。以上方法,可以單獨(dú)使用,也可以組合使用。