15年專注于營銷型網站建設,
方格網絡科技讓傳統企業在互聯網上走起來

全國服務熱線:+86-13798883008

首頁   ·  服務   ·   案例   ·   資訊   ·    介紹   ·   聯系

 
 
新聞資訊
      方格資訊
      知識交流
      網站與優化
當前位置 > 首頁 > 新聞資訊 > 網站與優化
什么是robots.txt及其使用用技巧及誤區

爱彩网充值:什么是robots.txt及其使用用技巧及誤區

什么是robots.txt?

   robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。Robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的。
   當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令?;さ囊趁?。
   robots.txt必須放置在一個站點的根目錄下,而且文件名必須全部小寫。
   語法:最簡單的 robots.txt 文件使用兩條規則:
   • User-Agent: 適用下列規則的漫游器
   • Disallow: 要攔截的網頁

robots.txt使用誤區

      
  1. 誤區一:我的網站上的所有文件都需要蜘蛛抓取,那我就沒必要在添加robots.txt文件了。反正如果該文件不存在,所有的搜索蜘蛛將默認能夠訪問網站上所有沒有被口令?;さ囊趁?。
    每當用戶試圖訪問某個不存在的URL時,服務器都會在日志中記錄404錯誤(無法找到文件)。每當搜索蜘蛛來尋找并不存在的robots.txt文件時,服務器也將在日志中記錄一條404錯誤,所以你應該做網站中添加一個robots.txt。   
  2. 誤區二:在robots.txt文件中設置所有的文件都可以被搜索蜘蛛抓取,這樣可以增加網站的收錄率。
    網站中的程序腳本、樣式表等文件即使被蜘蛛收錄,也不會增加網站的收錄率,還只會浪費服務器資源。因此必須在robots.txt文件里設置不要讓搜索蜘蛛索引這些文件。
    具體哪些文件需要排除, 在robots.txt使用技巧一文中有詳細介紹。   
  3. 誤區三:搜索蜘蛛抓取網頁太浪費服務器資源,在robots.txt文件設置所有的搜索蜘蛛都不能抓取全部的網頁。
    如果這樣的話,會導致整個網站不能被搜索引擎收錄。  
  

robots.txt使用技巧   

  
  1. 每當用戶試圖訪問某個不存在的URL時,服務器都會在日志中記錄404錯誤(無法找到文件)。每當搜索蜘蛛來尋找并不存在的robots.txt文件時,服務器也將在日志中記錄一條404錯誤,所以你應該在網站中
  2. 網站管理員必須使蜘蛛程序遠離某些服務器上的目錄——保證服務器性能。比如:大多數網站服務器都有程序儲存在“cgi-bin”目錄下,因此在robots.txt文件中加入“Disallow: /cgi-bin”是個好主意,這樣能夠避免將所有程序文件被蜘蛛索引,可以節省服務器資源。一般網站中不需要蜘蛛抓取的文件有:后臺管理文件、程序腳本、附件、數據庫文件、編碼文件、樣式表文件、模板文件、導航圖片和背景圖片等等。
    下面是VeryCMS里的robots.txt文件:
    User-agent: *
    Disallow: /manage/ 后臺管理文件
    Disallow: /request/ 程序文件
    Disallow: /other/ 附件
    Disallow: /images/ 圖片
    Disallow: /date/ 數據庫文件
    Disallow: /templates/ 模板文件
    Disallow: /css/ 樣式表文件
    Disallow: /lang/ 編碼文件
    Disallow: /script/ 腳本文件
  3. 如果你的網站是動態網頁,并且你為這些動態網頁創建了靜態副本,以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里設置避免動態網頁被蜘蛛索引,以保證這些網頁不會被視為含重復內容。
  4. robots.txt文件里還可以直接包括在sitemap文件的鏈接。就像這樣:
    Sitemap: //www.***.com/sitemap.xml
    目前對此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司,顯然不在這個圈子內。這樣做的好處就是,站長不用到每個搜索引擎的站長工具或者相似的站長部分,去提交自己的sitemap文件,搜索引擎的蜘蛛自己就會抓取robots.txt文件,讀取其中的sitemap路徑,接著抓取其中相鏈接的網頁。
  5. 合理使用robots.txt文件還能避免訪問時出錯。


 
專注網絡營銷10年,服務過近百家行業龍頭型企業,集團或上市公司,對營銷型網站、SEM營銷、移動互聯網營銷經驗豐富。
首頁我們服務設計印刷 | 軟件應用 | 設計素材大全 | BAIDU/GOOGLE優化
Tel:+86-769-89977758   MP:137 9888 3008  |  137 1222 1578   歡迎咨詢
版權所有: 方格網絡科技有限公司 All Rights Reserved.粵ICP備06077367號
李浩書法作品 爱彩网找回密码 東莞網站建設 東莞網站制作 東莞網站優化 莞網絡公司 網站策劃 東莞做網站爱彩网找回密码 SITEMAP