如何阻止百度baidu爬蟲和谷歌(google)蜘蛛抓取網站內容

時間:12-04-06 欄目:電腦網絡 作者:admin 評論:0 點擊: 3,533 次

如何阻止百度baidu爬蟲和谷歌(google)蜘蛛抓取網站內容,是很多站長比較苦惱的事情,隱私消息,重復頁面等等,都是我們想阻止百度和谷歌的蜘蛛抓取的內容。下面介紹下參考內容。

google大全里就有這個介紹的:

如果您不希望 Google 漫游器或其它搜索引擎進入您的網站,請在服務器的根目錄中放入一個 robots.txt 文件,其內容如下:

 

User-Agent: *
Disallow: /

這是大部份網絡漫游器都會遵守的標準協議,加入這些協議后,它們將不會再漫游您的網絡服務器或目錄。有關 robots.txt 文件的詳細信息,請訪問:http://www.robotstxt.org/wc/norobots.html

google介紹這個信息的頁面地址是:

http://www.google.com/intl/zh-CN/remove.html

 

 

了解robots.txt的用法 優化搜索引擎抓取和索引

通過給網站設置適當的robots.txt對Google和百度seo優化的作用是很明顯的。WordPress博客網站也一樣。

我們先看看robots.txt是什么,有什么作用?

robots.txt是什么?

我們都知道txt后綴的文件是純文本文檔,robots是機器人的意思,所以顧名思義,robots.txt文件也就是給搜索引擎蜘蛛這個機器人看 的純文本文件。robots.txt是搜索引擎公認遵循的一個規范文 檔,它告訴Google、百度等搜索引擎哪些網頁允許抓取、索引并在搜索結果中顯示,哪些網頁是被禁止收錄的。 搜索引擎蜘蛛 spider(Googlebot/Baiduspider)來訪問你的網站頁面的時候,首先會查看你的網站根目錄下是否有robots.txt文件,如 果有則按照里面設置的規則權限對你網站頁面進行抓取和索引。如淘寶網就通過設置robots.txt屏蔽百度搜索引擎:

 

User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /

robots.txt的作用

我們了解了什么是robots.txt,那它有什么作用,總體來說,robots.txt文件至少有下面兩方面的作用:

1、通過設置屏蔽搜索引擎訪問不必要被收錄的網站頁面,可以大大減少因spider抓取頁面所占用的網站帶寬,小網站不明顯,大型網站就很明顯了。

2、設置robots.txt可以指定google或百度不去索引哪些網址,比如我們通過url重寫將動態網址靜態化為永久固定鏈接之后,就可以通 過robots.txt設置權限,阻止Google或百度等搜索引擎索引那些動態網址,從而大大減少了網站重復頁面,對SEO優化起到了很明顯的作用。

robots.txt的寫法

關于如何寫robots.txt文件,在下面我們會以WordPress博客來作更具體舉例說明。這里先提示幾點robots.txt寫法中應該注意的地方。如robots.txt文件里寫入以下代碼:

 

User-agent: *
Disallow:
Allow: /

robots.txt必須上傳到你的網站根名錄下,在子目錄下無效;

robots.txt,Disallow等必須注意大小寫,不能變化;

User-agent,Disallow等后面的冒號必須是英文狀態下的,冒號后面可以空一格,也可以不空格。網上有人說冒號后面必須有空格,其實沒有也是可以的,請看谷歌中文網站管理員博客的設置就是這樣:http://www.googlechinawebmaster.com/robots.txt ;

User-agent表示搜索引擎spider:星號“*”代表所有spider,Google的spider是“Googlebot”,百度是“Baiduspider”;

Disallow:表示不允許搜索引擎訪問和索引的目錄;

Allow:指明允許spider訪問和索引的目錄,Allow: / 表示允許所有,和Disallow:等效。

robots.txt文件寫法舉例說明

 

禁止Google/百度等所有搜索引擎訪問整個網站 User-agent: *
Disallow: /
允許所有的搜索引擎spider訪問整個網站(Disallow:可以用Allow: /替代) User-agent: *
Disallow:
禁止Baiduspider訪問您的網站,Google等其他搜索引擎不阻止 User-agent: Baiduspider
Disallow: /
只允許Google spider: Googlebot訪問您的網站,禁止百度等其他搜索引擎 User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
禁止搜索引擎蜘蛛spider訪問指定目錄
(spider不訪問這幾個目錄。每個目錄要分開聲明,不能合在一起)
User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /~jjjj/
禁止搜索引擎spider訪問指定目錄,但允許訪問該指定目錄的某個子目錄 User-agent: *
Allow: /admin/far
Disallow: /admin/
使用通配符星號"*"設置禁止訪問的url
(禁止所有搜索引擎抓取/cgi-bin/目錄下的所有以".html"格式的網頁(包含子目錄))
User-agent: *
Disallow: /cgi-bin/*.html
使用美元符號"$"設置禁止訪問某一后綴的文件
(只允許訪問以".html"格式的網頁文件。)
User-agent: *
Allow: .html$
Disallow: /
阻止google、百度等所有搜索引擎訪問網站中所有帶有?的動態網址頁面 User-agent: *
Disallow: /*?*
阻止Google spider:Googlebot訪問網站上某種格式的圖片
(禁止訪問.jpg 格式的圖片)
User-agent: Googlebot
Disallow: .jpg$
只允許Google spider:Googlebot抓取網頁和.gif格式圖片
(Googlebot只能抓取gif格式的圖片和網頁,其他格式的圖片被禁止;
其他搜索引擎未設置)
User-agent: Googlebot
Allow: .gif$
Disallow: .jpg$
.......
只禁止Google spider:Googlebot抓取.jpg格式圖片
(其他搜索引擎和其他格式圖片沒有禁止)
User-agent: Googlebot
Disallow: .jpg$

Google和百度對robots.txt文件的介紹:?Google robotstxt百度 robots.txt

聲明: 本文由( admin )原創編譯,轉載請保留鏈接: 如何阻止百度baidu爬蟲和谷歌(google)蜘蛛抓取網站內容

------====== 贊助商 ======------

讀者排行

為您推薦

北京赛车pk10技巧玩法 永寿县| 高台县| 广昌县| 河间市| 呼玛县| 南投县| 板桥市| 平阳县| 梅州市| 华安县| 西平县| 泽州县| 台中市| 玉山县| 宁武县| 晋中市| 尉氏县| 合作市| 平舆县| 沐川县| 来宾市| 兴业县| 义乌市| 永和县| 昂仁县| 桂平市| 加查县| 安阳县| 岚皋县| 洪泽县| 麟游县| 乳源| 平安县| 贡嘎县| 琼中| 桐梓县| 山阳县| 丹寨县|