AD
法治周末见习记者 仇飞
即使不是网络工程师，研究互联网生态的人也很少不知道Robots协议。
从诞生至今有二十年的Robots协议，被几乎所有的搜索引擎遵守——包括最早的Altavista、Infoseek，后来的Google、Bing以及我国的Baidu、Soso、Sogou等。
9月10日，“Robots协议与竞争规范研讨会”在京召开，与会专家就Robots协议的法律效力、与不正当竞争的关系等问题进行了探讨。
用“黑白名单”作出警示
据了解，Robots协议形成于1993年、1994年前后。当时，随着互联网的发展，网络上的内容越来越丰富，同时，一些早期的搜索引擎包括一些信息收集网站的发展，出现了不少网络爬虫，自动收集网络上的内容。
在这种情况下，网站的所有者希望可以通过某种手段使自己网站上的全部或者部分内容不被抓取，以保护自己的权益或者隐私，而搜索引擎也希望可以合理地获取网络上的内容。为此，网站所有者和搜索引擎人员一起，通过邮件组开始讨论，共同起草了Robots协议，其核心思想是要求Robot程序不要去检索那些网站站长们不希望被直接搜索到的内容。
因此，Robots协议被认为像酒店房间的免打扰牌一样，是用计算机语言写成的“请勿打扰”警示牌，告知其他企业不要随意抓取信息。
相关数据统计，我国设置Robots协议的网站超过1亿个，流量排名前100的网站基本上均设置了Robots协议。
一般而言，网站(包括搜索引擎商的自有网站)通过robots.txt文件来实现Robots协议，以白名单或黑名单方式，允许或禁止搜索引擎抓取。而无论是黑名单还是白名单，都是保护网站内容的一种手段，可以单独使用白名单，也可以单独使用黑名单，或者两个一起用。
法治周末记者在会上了解到，目前，国际排名前1000名左右的网站中，有上百家网站设置Robots白名单，声明仅允许部分搜索引擎抓取；在流量排名世界前1000名左右的网站中，有108家网站采用仅禁止一家搜索引擎抓取的Robots黑名单。
以合同、契约方式产生法律约束力
尽管网站可依据Robots协议自主选择限制抓取的搜索引擎，已成为行业常态，但值得注意的是，Robots协议是否具有法律约束力呢？这个问题也成为本次研讨会一系列法律问题中的重点。
中南财经政法大学原校长、教育部社会科学委员会委员吴汉东在会上表示，中国互联网面临“同质化发展”与“无序化竞争”两大问题，因此规则的建立和遵守显得尤为重要。他认为，Robots协议作为国际性的规则，应予遵守。
无独有偶，北京大学法学院教授张平也提到，Robots协议属于行业惯例及普遍遵守的商业道德，具有法律约束力，且能被一般人认知；网站对自身享有合法权益的产品，通过设置Robots协议选择交易对象，是网站所有者的自由。
而在中国法学会知识产权研究会秘书长李明德教授看来，Robots协议是合同、契约，是网站的意思表示，违反robots协议就构成了对契约的违反。
“从法律约束力而言，网站设置Robots协议系意思表示，在网站与搜索引擎之间即建立了一个提供网络服务的法律关系，搜索引擎访问网站即视为接受Robots协议，从而根据契约产生法律约束力。”武汉大学经济法研究所副所长宁立志教授指出。
效力得到国外法院承认
法治周末记者注意到，国外法院承认Robots协议效力的判决同样很多。例如2000年，美国联邦法院在eBay诉BE案中，通过禁令支持了eBay屏蔽BE爬虫的主张；美国内华达法院审理Field v. Google案中也明确认可Robots协议是有效保护网站权利的通行标准。
在eBay诉BE案中，eBay口头允许BE爬行90天，且希望此后达成一个正式许可，但最终没有达成。此后，BE继续爬行eBay。
eBay用户协议中明确规定，“用户协议的目前版本禁止未经书面许可使用任何机器人、蜘蛛或其他自动装置，或手动控制复制我们的网页或所包含的内容”。
eBay起诉后，法院最终支持eBay的临时禁令：禁止在未经eBay授权的前提下，BE使用自动搜索、蜘蛛、爬虫和其他类似装置访问eBay网站以复制ebay拍卖数据。
而在Field v. Google案中，Google允许网络使用者获得Field发布在自己网站上的51部作品，并且这些作品以缓存的方式呈现在Google搜索引擎上，Field认为此行为侵犯其复制权和传播权。
最终，审理法院驳回原告诉讼请求，认为原告作者未在其网站设置Robots协议，即视为允许搜索引擎使用，因此搜索引擎的抓取和使用不违法。
单方排除涉嫌构成不正当竞争
“搜索引擎单方排除Robots协议，违反Robots协议抓取网站内容，构成不正当竞争。根据‘额头流汗’原则，即使网站对其UGC内容(User Generated Content)不享有著作权，也应享有类似数据库的权利，该权利应当受到法律保护。英美国家即将侵犯此类权利的行为看作是侵犯私权。”吴汉东在研讨会上说道。
李明德认为，网站基于自身发展和商业考量，在设置Robots协议时享有自主决定权，违背Robots协议就是违背商业道德，构成不正当竞争。
北京大学法学院副教授、中国经济法研究会常务副秘书长肖江平认为，网站所有者有权自主设置Robots来限制搜索引擎的抓取，这是网站所有者的权利而非义务。搜索引擎排除Robots协议的适用，破坏他人商业模式，构成违法。
“在互联网行业中，竞争者要比普通用户承载更多的社会责任，其访问和抓取网页信息的行为也应符合行业竞争准则。”北京外国语大学法学院教授丛立先从消费者保护的角度认为，在正常市场交易中，交易主体选择不同交易对象采取差别待遇是合理的，只要不违反行业竞争规则，网站可以根据自身好恶针对不同搜索引擎设置Robots协议。
■名词解释：
Robots白名单：是指网站设置Robots协议，允许robots.txt文件中声明的搜索引擎抓取，禁止其他搜索引擎抓取。如Twitter网站部分内容只允许Googlebot、Slurp、Yandex、msnbot搜索引擎爬虫抓取，对于其他搜索引擎不允许抓取。
Robots黑名单：指robots协议禁止某些搜索引擎抓取该网站内容，其他搜索引擎则被允许抓取。如微软商店设置黑名单，不允许Ultraseek和Inktomi search两家搜索引擎抓取。
