Robots协议，不是谁家的后花园自留地

百度与360公司爬虫机器人不正当竞争纠纷案，又被称为Robots协议案，是中国搜索领域爬虫机器人竞争第一案，关系着互联网行业尤其是搜索引擎的基本游戏规则而广泛被业界、政府和网民关注。2014年8月7日，北京市第一中级人民法院驳回了百度有关不正当竞争的诉求，表明百度单方面利用歧视性Robots协议打击竞争对手的行为不会被公众和法庭所支持，而360则可以继续抓取百度的网站内容。（8月8日《法制日报》）

剖析中国搜索领域爬虫机器人竞争第一案孰是孰非，我们需客观了解搜索引擎与Robots协议。搜索引擎在对信息进行组织和处理后，将用户检索相关的信息展示给互联网用户的系统。网络搜索工作原理包括爬行、抓取存储、预处理、排名等程序步骤，而搜索引擎所依据的根本规则即互联网Robots协议，也称为爬虫协议、机器人协议、“网络爬虫排除标准”，各网站运营商通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

Robots协议是基于互联网公开、公平、保护网站及用户隐私权不被侵犯的精神而设立的。打一个形象的比喻，这如同我们入驻酒店后，酒店为保护我们隐私与权益会给两块牌子：“请勿打扰”与“欢迎打扫”。不过，这两块牌子并不能阻止窃贼或恶徒闯入。也就是说，Robots协议是互联网业界的道德规范，并不具有防火墙性质。

不过，Robots协议的道德范畴性质也为各种人为操作提供了舞台。这如同人人都知坐公交车应该主动为老人孕妇让座，但如果有人不这样做，谁又能指责其道德不良，并强行让其让座呢？此种事件体现在互联网上，就变成了有些搜索巨头凭借自己技术与影响力优势，蓄意打击同行业竞争者。比如，他可以去抓取别人的网站信息，却利用技术手段阻止别人抓取自己的网站信息，并自我设定Robots协议“白名单”，而唯独歧视性地将有力竞争者360列入“黑名单”，拒绝其抓取相关网站信息。这些信息版权许多原本并不属于其所有。

从中可见，原本互联网道德范畴Robots协议却被有些搜索巨头人为操作用来打造了自家的“后花园”与“自留地”并谢绝特定人参观，而此种动机的背后无疑是为了打击潜在的竞争者，标榜自己的先入为主、行业领袖地位。互联网是个公开的地盘，各种协议都是需共同遵守的协议规范，而如《互联网著作权行政保护办法》、《互联网新闻信息服务管理规定》、《中国互联网络信息中心域名争议解决办法》、《互联网视听节目服务管理规定》、《七条底线》等也都应是运营商与网民共同遵守的底线。正是有了它们，我们的网上冲浪才能方便快捷。

互联网世界与搜索服务是一片自由竞争的机遇沃土，并没有所谓“先来后到”。搜索引擎服务应该谨守开放、平等、协作、分享的互联网精神，而不应该成为谁家的后花园与自留地。Robots协议道德契约需要以更好为网民服务，并在真诚、尊重、互助氛围下共同呵护，以真正打造一个人人都能期待“众里寻他千百度，蓦然回首，那人却在灯火阑珊处”互联网梦想、欣喜与恬静。