Robots協(xié)議（也稱為爬蟲協(xié)議、機器人協(xié)議等）的全稱是“網絡爬蟲排除標準”，網站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。該協(xié)議尊重信息提供者的意愿，并維護其隱私權；保護其使用者的個人信息和隱私不被侵犯。而日前，百度以奇虎360違反Robots協(xié)議為由一紙訴狀將其告上法庭，一審要求360賠付百度相關損失70萬元。

      我們做SEO時，為了讓網站更好的運行經常會應用robots文件，它相當于給網站加上一層保護網，對網站而言絕對的有利的。而本次Robots協(xié)議事件，讓我們不得不再次將Robots提上網站安全的文案。

      有法律專家表示，Robots協(xié)議如果被破壞，對整個行業(yè)可謂滅頂之災。然而，作為行業(yè)慣例的robots協(xié)議卻因為并非白紙黑字的法律條文，成了一些無節(jié)操互聯(lián)網公司惡意違反robots協(xié)議搞不正當競爭的借口。那么，不是法律條文的robots協(xié)議，在全行業(yè)普遍遵守的習慣下，違反者難道不應該為此承擔法律責任嗎？

      “慣例也好,習慣也好,都是一種行為模式,是為了要達到一定的利益訴求。通常它是既有利于自己的利益,同時又與其他利益攸關者的正當利益不相沖突。在這個前提下,慣例是一種經濟上節(jié)約,法律上又合法的行為模式。這樣一種行為模式,只要符合前面說的這兩條就是合法的。”

      由此來看，我們只需要搞清楚Robots協(xié)議是不是一種切切實實存在的行業(yè)慣例或習慣，就可以對違反Robots協(xié)議如何定性這個問題做到至少心中有數(shù)。

      robots協(xié)議由荷蘭籍網絡工程師Martijn Koster 于1994年首次提出，robots協(xié)議是國際互聯(lián)網界通行的道德規(guī)范，網站通過robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。其目的是保護網站數(shù)據(jù)和敏感信息、確保用戶個人信息和隱私不被侵犯。有統(tǒng)計資料顯示，目前國內設置robots協(xié)議的網站超過4億，中國大的網站也均都設置了robots協(xié)議：淘寶網、騰訊、CCTV、人民網、網易、新浪、太平洋在線、優(yōu)酷等，百度和360也都在各自站點中設置了robots協(xié)議。

     不僅如此，國際排名前1000左右的網站中，F(xiàn)acebook、Twitter、Alexa、 LinkedIn 等國際知名網站，均采用白名單制設置robots，只允許robots.txt文件中聲明的搜索引擎抓取，禁止其他搜索引擎抓取，例如Facebook網站允許baiduspider、Googlebot、msnbot、naverbot、 Eznambot、Slurp、teoma、Yandex等搜索引擎爬蟲收錄使用網站特定內容，禁止包含360等在內的其他搜索引擎抓取。TWITTER網站部分內容只允許Googlebot、Slurp、Yandex 、msnbot搜索引擎爬蟲抓取，對于其他搜索引擎不允許抓取。

      實際上，不可計數(shù)的中小網站也大多在使用robots文件來保護后臺登陸地址、數(shù)據(jù)存檔目錄等敏感信息，以保護網站及其用戶的隱私安全。

      綜合這些情況來看，robots協(xié)議確實一種行業(yè)慣例，是全行業(yè)用來保護知識產權、信息安全和隱私內容的一種慣用方法。

      然而，在實際的行業(yè)市場中，卻偏偏存在不按常規(guī)出牌的公司，比如360公司自2012年8月推出獨立搜索以來，一直無視robots協(xié)議這一國際通行規(guī)范，在未獲得百度等公司允 許的情況下，違反業(yè)內公認的Robots協(xié)議，擅自抓取網站Robots文件中明文禁止的內容，即便在互聯(lián)網協(xié)會出面調解，簽署了《互聯(lián)網搜索引擎服務自律公約》后，仍然明知故犯，實乃不把行業(yè)慣例放在眼里。

      有專家指出，Robots協(xié)議代表一種契約精神，互聯(lián)網企業(yè)只有遵守這一規(guī)則，才能保證網站及用戶的隱私數(shù)據(jù)不被侵犯?？梢哉f，無論從保護網民隱私還是尊重版權內容的角度，遵守robots協(xié)議都應該是正規(guī)互聯(lián)網公司的默之舉，任何違反robots協(xié)議的行為都應該為此付出代價。

     Robots協(xié)議為網站安全保駕護航，一旦違反協(xié)議要求很多商業(yè)性網站可能會蒙受巨大損失。我們不想知道如此慣例是否有罪，重要的是維護網絡環(huán)境和諧讓網絡User可以放心是每位站長的共同心愿。