百度與360公司爬蟲機器人不正當競爭糾紛案受到外界關注。日前，北京市第一中級法院駁回了百度有關不正當競爭的訴求，表明百度單方麵利用歧視性Robots協議打擊競爭對手的行為不會被公眾和法庭所支持，而360則可以繼續抓取百度的網站內容。
拋開爬蟲定義、Robots協議的晦澀專業，此案的實質是海量信息的搜索與隱私權保護的中間規則。形象的說，它如同門牌號碼，頁麵所有者也即戶主可以蓋牌子選擇不準訪問，以保護隱私。而搜索，實則就是通過門牌號碼，獲得網頁地址，從而幫助讀取。
糾紛案之爭，在於百度將其旗下百度知道、百度文庫、百度貼吧等網站內容修訂規則、蓋上牌子，隻允許360以外的搜索引擎訪問，而360的搜索爬蟲則對這些內容進行了訪問。乍一看，似乎是360強闖民宅，亂翻了百度牌子。
然而，當我們對這些網站內容進行界定，就發現這些都是網民上傳、發表的內容，換言之著作權屬於網民，而非百度，其上傳和發表是一種默認的共享行為，理應有被訪問的門牌號。這些內容猶如零散住戶，百度充其量隻能算是多家“小區”的物業管理人員。物業管理員對郵遞員的區別對待，是不恰當的。
被翻與不被翻的Robots協議，在於尊重所有者的隱私權;然而可翻與不可翻的區別對待，顯然違反了開放、共享的互聯網精神。開放、分享的互聯網精神是互聯網核心基礎，更是其迅猛發展的驅動所在。無視這種開放與共享，就會形成大型網站綁架上傳資料者的局麵，就會導致山頭林立，形成更多的信息溝壑，這顯然無益於互聯網的健康發展。
不僅如此，互聯網精神所鼓勵的自由競爭和創新，更應建立在平等公平的競爭秩序基礎上，而絕不應以技術、先行壟斷行“叢林法則”之實。通過先入優勢構建技術壁壘，塑造恃強淩弱的競爭格局，這勢必加劇壟斷局麵的形成，這顯然有違平等公平的競爭秩序。
進而言之，在絕對的壟斷和利益的驅使下，獨此一家的搜索本身也可能異變成為一種閱讀、推廣的綁架。若到這種情形下，你想看的或許都會異變成它想讓你看的，屆時被掩蓋的也許就不僅僅是資料分享者的門戶牌子了。
Robots協議不應成為市場競爭維護壟斷的工具
奇虎360進軍搜索市場之後，搜索巨頭和360之間的關係似乎更加劍拔弩張。近日，360公司和搜索巨頭公司關於搜索引擎爬蟲行為爭議再度引發業界關注。有分析人士認為，Robots協議不是行業法規或標準，不存在違反與不違反的問題，更不應該成為用於搜索市場競爭的武器。
2012年8月16日，360正式推出搜索引擎，並在上線6天後，占據中國搜索市場10%的份額，成為僅次於搜索引擎的第二大搜索流量來源。但不久，360搜索遭到反製措施，所有來自360搜索的用戶請求強行跳轉，用戶需要二次點擊才能得到搜索的結果。
技術專家指出，知道、百科、貼吧等產品在Robots文件中禁止360搜索抓取索引。然而，國內最大的搜索引擎仍允許包括穀歌、必應、搜狗、搜搜在內的所有搜索引擎抓取索引上述內容。通過Robots協議僅阻止360搜索抓取索引，是把Robots協議當成不正當競爭的工具，目的是打擊和封堵360搜索。
單方麵強調Robots協議的作用，試圖作為限製競爭對手的標準，而是否任何一家搜索引擎也如他們所描述的那樣遵守Robots協議呢?
據悉，Robots協議由荷蘭籍網絡工程師於1994年首次提出，是一個被放置在網站中的.TXT文件，為搜索引擎爬蟲做出提示，設置允許與不允許兩種語句，網絡爬蟲據此“自覺地”抓取或者不抓取該網頁內容。
但Robots並不是一個規範，而隻是一個約定俗成的協議。Robots協議創始人明確提出Robots協議是一個未經標準組織備案的非官方標準，不屬於任何商業組織。如果該協議被當成市場競爭攻擊，所有現在和未來的機器人(搜索引擎)不必遵從Robots協議。
業內人士在接受記者采訪時認為，Robots協議本是為了搜索引擎更有效的的索引到內容結果頁、內容網站服務器等資源免受爬蟲頻繁打擾而設置的一種技術協議。濫用Robots協議，其結果必將造成行業競爭壁壘，導致互聯網行業內不公平競爭泛濫，進而導致搜索引擎給網民展現不完整的搜索結果，阻礙搜索市場的自由競爭。
