|
互联网竞争中设置爬虫协议黑名单的行为定性 ——由百度与360大战引发的思考 王文敏，女，华东政法大学知识产权学院2012级知识产权硕士研究生 [内容提要]在百度与360大战中，从反不正当竞争法的角度上看，百度和360之间存在竞争关系，百度设置爬虫协议黑名单的行为并不构成不正当竞争，但360不遵守爬虫协议黑名单的行为违反了商业道德，对市场竞争造成了损害，有构成不正当竞争之嫌。从反垄断法的角度上看，百度并不占据互联网内容提供市场的支配地位，也并未控制“关键设施”，其行为具有合理的理由，并不会损害市场竞争，因而百度的行为并不构成反垄断法上的拒绝交易行为。 [关键词]百度与360大战 爬虫协议 反不正当竞争法 反垄断法 拒绝交易 一、百度与360大战的案情及争议 2013年底，备受争议的百度诉360违反“爬虫协议”一案在北京一中院拉开了序幕。爬虫协议全称是“网络爬虫排除标准”（robots Exclusion Protocol），其本质是网站和搜索引擎爬虫的沟通方式，网站通过爬虫协议列出了具体允许哪些网络搜索服务提供商可以抓取自己的页面（白名单），哪些网络搜索服务提供商不能抓取自己的页面（黑名单）。该案中，百度在自己的robots文本中设置黑名单不允许360爬虫进入，但360的爬虫依然对“百度知道”、“百度百科”等百度网站内容进行抓取，因此，百度认为360抓取复制自己网站的内容构成不正当竞争，将360起诉至北京市第一中级人民法院，索赔1亿元。于此同时，360反诉百度的爬虫协议，认为百度此举的目的是为了保住其在搜索市场的垄断地位，向百度索赔4亿元，北京市高院也已正式受理此案。此案又称百度和360大战，是百度和360这两大互联网领域的巨头争夺搜索引擎市场的最新升级版，虽然法院尚未判决，但此案已经在实务界和理论界引发了广泛的关注和激烈的讨论。 本案的争议焦点在于，百度和360行为是否构成不正当竞争？百度的行为又是否构成反垄断法中的拒绝交易行为？这就引发了对互联网竞争中设置爬虫协议黑名单行为定性的思考。 二、设置爬虫协议黑名单的行为构成不正当竞争的可能性 百度与360大战的第一个争议在于，设置爬虫协议黑名单排除竞争对手的行为是否构成不正当竞争？由于《反不正当竞争法》颁布的时间过早，其中规定的具体不正当竞争行为已经很难适用于如今的互联网领域，设置爬虫协议黑名单的行为无法对应《反不正当竞争法》中的具体条款，因此需要适用《反不正当竞争法》的一般条款来判断此行为的性质。我国《反不正当竞争法》第二条第二款规定，本法所称的不正当竞争，是指经营者违反本法规定，损害其他经营者合法权益，扰乱社会经济秩序的行为。这一定义性规范是从行为主体、行为的违法属性以及危害后果的角度界定不正当竞争的，因此《反不正当竞争法》一般条款的适用需考虑以下三个因素，即竞争行为的主体之间是否具有竞争关系，竞争行为是否违反了市场竞争原则，竞争行为对市场竞争是否产生了损害，三者缺一不可。 （一）竞争行为的主体之间是否具有竞争关系 不正当竞争行为要求竞争双方具有竞争关系，而竞争关系就是取得经营资格的平等市场主体之间在竞争过程中所形成的社会关系。应当注意的是，这种关系主要是同行业经营者之间的竞争关系，但可以广于这种关系。竞争关系并不限于经营者经营同类产品或服务，经营的业务虽然不同，但只要其行为违背了《反不正当竞争法》中规定的自愿、平等、公平、诚实信用、遵守公认的商业道德的原则，依然可以认定具有竞争关系。同样，不正当竞争行为也并非仅限于经营同类商品或服务的竞争对手之间争夺交易机会的行为，以不正当的手段谋取竞争优势或者破坏他人竞争优势的行为均可构成相互竞争的行为。 在司法实践中，法院往往是从广义上对竞争关系作出认定。如在汕头市浚泓有限公司与强生（中国）医疗器材有限公司纠纷案中，强生公司主张其与浚泓公司之间经营不同的业务，没有竞争关系。但是，法院认为在符合一定条件的情况下，非同业竞争者之间也可以认定为具有竞争关系。在百度与360大战中，百度和360之间也存在竞争关系。表面上看，本案中360属于搜索引擎服务商，而百度作为“百度贴吧”、“百度知道”、“百度百科”等内容的所有者，属于内容服务商，而二者并不是具有直接竞争关系的经营者。但是，360在搜索引擎服务之外也有提供网络内容的服务，而百度除了提供大量的互联网内容，其搜索引擎服务也占了重要的份额。二者在互联网上的市场无疑是交叉重叠的，正因如此，双方才会大动干戈，激烈地争夺竞争机会并破坏对方的竞争优势，因而可以认为双方之间存在竞争关系。 （二）竞争行为是否违反了市场竞争原则 《反不正当竞争法》第二条第一款规定了“自愿、平等、公平、诚实信用的原则”和“公认的商业道德”，这就是判断行为是否违反市场竞争原则的标准。由于这些术语的含义是不稳定的，会随着时代的发展而不断变化，因此，应当根据反不正当竞争法的立法精神进行判断，而反不正当竞争法的立法精神就在于维护商业伦理或商业道德。在著名的“海带配额”案中，最高人民法院指出：“在规范市场竞争秩序的反不正当竞争法意义上，诚实信用原则更多的是以公认的商业道德形式体现出来的。商业道德是指特定商业领域普遍认知和接受的行为标准，具有公知性和一般性，要按照特定商业领域中市场交易参与者即经济人的伦理标准来加以评判。具体到个案中公认的商业道德，应当根据特定商业领域和个案情形具体分析确定。”互联网领域中有许多约定俗成的行业惯例和基本准则，这些惯例和准则已经为互联网行业所普遍认知和接受，它们实际上就是互联网行业的商业道德。 2009年发生的“大众点评网诉爱帮网案” 涉及设置爬虫协议黑名单的行为，与此次的百度和360爬虫协议大战有许多相似之处，值得研究和借鉴。在“大众点评网诉爱帮网案”中，爱帮网的引擎违反了大众点评网设置的robot.txt,从“大众点评网”中提取并显示餐饮点评信息，因而被大众点评网告上法庭。北京一中院认为，爱帮网的行为违法了商业道德，构成不正当竞争。对于大众点评网的商户简介和用户点评，爱帮网未付出劳动、未支出成本、未做出贡献，却直接利用技术手段在爱帮网上展示，并以此获取商业利益，属于反不正当竞争法理论中典型的“不劳而获”和“搭便车”的行为。爱帮网应遵守法律规定和相关行业规范，对于特定行业网站的信息的利用，须控制在合理的范围内。但爱帮网使用的许多商户简介和大众点评网完全一致，用户点评和大众点评网也没有实质性区别，网络用户一般不会再选择点击大众点评链接标识。因此，爱帮网的商户简介和用户点评已经构成对大众点评网相应内容的实质性替代，必将不合理的损害大众点评网的商业利益。爱帮网的这一经营模式违反公平原则和诚实信用原则，违背了公认的商业道德，扰乱了网络环境下的经济秩序，对市场竞争产生了损害，已构成《反不正当竞争法》所禁止的不正当竞争行为。 具体到本次百度和360爬虫协议大战中，百度并未违反市场竞争的基本原则。在互联网技术日新月异的今天，法律政策监管常常是滞后的，在法律缺位的情况下，爬虫协议作为一种行业惯例，体现了一定的商业道德，其应当得到一定的尊重。爬虫协议是一项国际通行的行业惯例或技术规范，已经为世界范围内的绝大多数搜索引擎服务商和互联网网站所公认并广泛执行。而在我国，2012年11月1日，由中国互联网协会牵头，包括百度公司和360奇虎公司在内的国内12家搜索引擎公司签署了《互联网搜索引擎服务自律公约》，该公约第7条明确规定，搜索引擎企业要遵循国际通行的行业惯例与商业规则，遵守robots协议。因此，爬虫协议实际上已经作为我国互联网搜索引擎行业的通行惯例，应当得到法律与司法的尊重与支持，百度设置爬虫协议黑名单符合市场竞争的基本原则。 相反，可能违反市场竞争基本原则的是360公司。正当的市场竞争，必须是竞争者通过付出劳动而进行的诚实竞争，禁止食人而肥己和“搭便车”的行为。现代社会所鼓励的竞争必须是在增进技术、降低价格和提高商品质量的基础上进行的竞争。其实早在2008年，淘宝网曾通过爬虫协议以保护商业信息为由，不同程度地禁止百度、谷歌等搜索爬虫对其商品信息的抓取，百度等搜索引擎严格遵守了爬虫协议，立即停止抓取淘宝网内容。而在本案中，360自己不付出劳动，却不顾爬虫协议这一行业惯例，不正当地利用百度花费大量时间和精力已经取得的成果，获取竞争优势。由此，百度的行为并未违反自愿、平等、诚实信用等原则，而360却有违反市场竞争基本原则之嫌。 （三）竞争行为是否对市场竞争产生损害 市场竞争行为指的是行为人为竞争目的，获取或破坏他人竞争优势的行为。对市场竞争产生损害的内容是其他经营者合法权益和社会经济秩序。不正当竞争行为之所以具有不正当性，与其产生不正当的市场损害有关。从直接对象上看，它损害了其他经营者的市场利益，如抢夺或者破坏了其他经营者的市场竞争优势；从深层次看，它破坏了公平自由的市场竞争机制，损害了商业伦理，如破坏了公平自由的市场竞争机制，损害了商业伦理。 在美国发生eBay v. Bidder's Edge 案涉及对设置赔偿协议黑名单行为的认定，因而极具参考价值。eBay是著名的电子交易网站，《eBay用户协议》规定任何人在事前未经eBay的明确书面授权，不得使用爬虫程序监视和收集其网页内容。Bidder's Edge（下称BE）是一个提供一站式拍卖搜索的服务提供商，其数据库搜集包括eBay在内的电子交易网站大量的拍卖信息。eBay电话要求BE停止提供其网站的交易信息，但由于其他从事相同业务的其他网站仍然可以提供eBay的交易信息，故BE继续提供eBay的交易信息。后eBay提起诉讼，要求法院禁止BE提供其交易信息。 加州北区法院重点审查了爬虫协议是否对市场竞争产生损害。首先，由于BE的行为相当于每天发出10万个爬虫军团搜查其网站的交易信息，造成其系统的超负荷。如果放任BE的行为，将会怂恿其他与BE从事同样业务的公司肆无忌惮地搜索eBay的交易系统，将致使eBay因系统瘫痪或数据丢失而遭受不可挽回的经济利益损失和客户声誉损失。其次，对于eBay允许其他公司的爬虫程序访问其网站并不构成歧视，也不会损害市场竞争。法院指出，这里并没有证据证明eBay有歧视性地许可其访问者。相反，eBay更像是在作谨慎的选择，以选择对数量有限的遵守其许可协议的网站开放。因此，法院最终认为eBay的爬虫协议黑名单是合法的，并未对市场竞争造成损害。 而在百度和360大战中，百度出于自身网络安全的考虑设置了爬虫协议黑名单，并未对市场竞争造成损害，但360不遵守爬虫协议造成的危害，不仅损害百度的合法权益，还有可能对市场竞争秩序带来危害。早在2013年4月判决的百度诉360等不正当竞争纠纷案中，北京一中院就认定360对百度内容数据库的不正当行为已经造成了百度的实际损失，影响了正常的市场竞争秩序。法院指出，360网址导航站擅自改变百度在其搜索框上向用户提供的下拉提示词，劫持百度流量，并借此推广自己产品的行为构成了不正当竞争；同时360安全卫士仅在百度网站搜索结果页面上有选择的插入了警告标识，以警示用户该搜索结果对应的网站存在风险，这种区别对待的行为违反了《反不正当竞争法》中的诚信原则，不仅对百度的利益造成了损害，还破坏了正常的市场竞争秩序。除此之外，百度在案件中还举证，360服务器抓取网民隐私存在服务器上，曾因自身网站的漏洞被谷歌搜索抓取，导致奇瑞汽车内部采购文件、三峡集团财务报表等商业秘密，以及140万网民隐私被泄露和传播的事件。由此，百度从自身网络安全的角度出发，设置爬虫协议黑名单限制360抓取的行为有一定的合理性。 但是，360的行为将可能损害百度的合法利益，甚至破坏互联网市场的竞争。为建立庞大的数据库，百度对海量的信息进行了搜集和整理，并运用各种商业方法吸引用户的注册，为此付出了人力、财力、物力和时间等经营成本，由此产生的利益应受法律保护。360之所以能以如此快的速度得以建立，正是由于其无需花费大量的时间和金钱建立内容库，而是采取拿来主义，直接利用爬虫搜集他人已有的信息库。但360不仅利用百度对自身的浏览器产品进行推广，甚至进一步改变百度的下拉提示词，劫持百度流量，故意损害百度的利益。如果360排除爬虫协议被视为合法行为，那么今后任何人都可以效仿360的行为，无视他人的爬虫协议，随意地对他人的数据库进行抓取，这都将造成市场竞争的无序和混乱。因此，以上360对于百度以及市场竞争秩序的现实危害，都足以成为百度设置爬虫协议排除360的合理理由。本案中百度的行为并未违反反不正当竞争法，但360的行为却有可能构成不正当竞争行为。 三、设置爬虫协议黑名单构成反垄断法中拒绝交易行为的可能性 百度与360大战的第二个争议在于，设置爬虫协议黑名单的行为是否构成了反垄断法中的拒绝交易行为？在我国《反垄断法》规定的三种垄断行为中，百度最有可能的是构成滥用市场支配地位的行为，而在第17条规定的七种滥用市场支配地位的行为中，与百度的行为最为接近的就是拒绝交易行为，即“没有正当理由，拒绝与交易相对人进行交易”。典型的拒绝交易行为是上游企业拒绝向下游企业供货。拒绝交易是市场上的普遍现象，而且绝大多数情况是合法的，这是因为企业有权决定是否交易以及和谁交易。然而，如果一个拒绝交易行为发生在占据市场支配地位企业的身上，特别是当拒绝交易的原因是它和下游企业存在着竞争，那么此拒绝交易行为就极有可能构成垄断行为。反垄断法审查拒绝交易行为时，需要考虑几个因素，即经营者须具有市场支配地位，拒绝交易会损害市场竞争以及拒绝交易没有合理的理由。下文将对这三个因素进行分析。 （一）经营者是否须占有市场支配地位 《反垄断法》中的市场支配地位，是指经营者在相关市场内具有能够控制商品价格、数量或者其他交易条件，或者能够阻碍、影响其他经营者进入相关市场能力的市场地位。相关市场不同，其取得支配地位的标准也不尽相同。因而界定相关市场对当事人具有非常重要甚至是决定性的作用。相关市场是指经营者在一定时期就特定商品或者服务进行竞争的商品或者服务范围和地域范围，应根据具体的案情进行界定。认定经营者具有市场支配地位，应当依据该经营者在相关市场的市场份额，以及相关市场的竞争状况。而根据我国《反垄断法》第19条规定，“当一个经营者在相关市场的市场份额达到二分之一时，可以推定该经营者具有市场支配地位”。 百度和360爬虫协议大战中，百度公司在事实上并未占据市场支配地位。或许有人认为，百度与360大战中的相关市场是下游的搜索引擎服务市场，而百度在这一领域长期占据着超过二分之一的市场份额，因而百度毫无疑问占据了市场支配地位。但是，这一观点错误地界定了相关市场。本案的争议在于百度设置爬虫协议黑名单阻止360对其内容进行搜索是否构成反垄断，因而二者竞争的关键在于互联网的中文内容，相关市场应该是指上游的互联网中文内容服务领域。而在互联网海量的信息内容中，即使百度拥有了“百度贴吧”、“百度知道”、“百度百科”等庞大的数据库，但是这也仅仅是互联网中文内容的一小部分，更何况近年来360、搜搜（SoSo）、必应(Being)等搜索引擎纷纷建立自己的内容数据库，百度的内容绝对无法达到市场支配地位所需的二分之一的比例，因而百度并未占据互联网中文内容的市场支配地位。 此外，有观点提出，相关市场不能只是笼统地指互联网中文内容提供市场，而应当针对“百科”、“知道”、“贴吧”等栏目，根据不同栏目的特点和用途细分相关市场。但是，这种观点禁不起推敲。用户在用搜索引擎搜寻所需信息时，往往是直接搜索网页，此时，无论是“百科”、“知道”还是“贴吧”，所有相关的中文内容都会出现，此时的内容提供商的竞争无疑是在所有的中文内容中展开的。而如果用户进入了某一搜索引擎的具体栏目中进行搜索，以360的“百科”、“知道”或“贴吧”为例，用户搜索后，此时页面中出现的只会是360的“百科”、“知道”或“贴吧”提供的结果，不会出现百度相应栏目中的内容。因此，根据用户搜索所需信息的特点，互联网中文内容提供服务应该作为本案的相关市场，而不能按照栏目不同对相关市场进行机械的分割。据此，由于百度并未占据互联网中文内容的二分之一，因此其也未占据相关市场的支配地位。 （二）拒绝交易是否会损害市场竞争 当企业拒绝交易的结果会妨碍、限制甚至消除竞争,这时拒绝交易的行为就应受到反垄断法的规制。在判断此条件时，最为重要的就是美国谢尔曼法中的“关键设施”理论(essential facility)。“关键设施”理论是指如果拒绝交易的独占企业控制了其他企业进入市场所必须使用的设施, 即“关键设施”, 就会导致其他企业因无法使用该关键设施, 而无法进入该市场与之竞争。此时, 无正当理由拒绝交易的企业就可能因构筑进入市场壁垒而受到反垄断法的规制,被课以强制交易的义务。根据美国和欧洲的司法实践, 反垄断诉讼的当事人在要求适用“关键设施”原则时必须证明：(1) 该设施对于其他企业参与竞争是必不可少的；(2)独占者控制了该“关键设施”；(3)竞争者不能在合理努力的范围内再复制同样的设施；(4)独占者拒绝竞争者利用该“关键设施”；(5)独占者提供该“关键设施”是可能的。 微软公司案为适用“关键设施”理论做了最好的注脚。被告微软公司在其Windows95操作系统中将原告开发的软件列入不明程序, 并在用户使用该软件时出现警告信息。原告认为，Windows在全球具有市场独占力量,微软拒绝将Windows95操作系统对原告的软件开放，目的在于阻碍软件开发商在快速存储软件市场的竞争, 以扩张自身在该市场的竞争优势, 违反了反托拉斯法，法院应赋予微软必须对其他开发商开放的义务。但法院认为：原告未能证明该软件无法在IBM的其他操作系统中运行, 也就不能说明微软开放Windows操作系统是必须的。该软件的主要功能在于改善旧版本Windows的执行速度, 而这正是Windows95问世的主要目的,如果本案将Windows95界定为“关键设施”, 就相当于强迫微软不能改进其产品的使用效率, 以便原告能在市场上竞争,这背离了反托拉斯鼓励竞争与创新的目的。因此, 法院驳回了原告的诉讼请求。 从目前的情况来看，百度提供的内容并未构成“关键设施”。应当认识到，“关键设施”理论并不要求企业只要拥有重要的资源就负有与竞争对手分享的义务。如果被拒绝交易的企业能够避开该交易而继续生存，那么该拒绝交易行为就不具有反竞争性，即使没有这种可能性，但如果在合理的时间内以合理的成本另行建成“关键设施”，那么拒绝交易就不具有反竞争性,不受反垄断法的规制。百度的内容对于360参与竞争来说并不是必不可少的，360自身正在进行360百科与360知道等内容的建设，因而360完全可以在合理努力的范围内建立起与百度一样的数据库，这样的建设或许在初期会比较耗时耗力，但数据库的建立无疑会更加丰富互联网的内容，是有利于广大网民之举。故而，百度设置爬虫协议黑名单的行为并未构成360参与竞争的“关键设施”，不会损害市场竞争。 （三）拒绝交易是否有合理的理由 当拒绝与交易相对人交易具有合理的理由时，那么将不构成反垄断法意义上的拒绝交易行为，这也被称为“合理原则”。美国的反垄断法在分析具体行为时，将“合理原则”作为其审查的最终标准。“合理原则”是指一种限制竞争行为并不当然被视为垄断，而是必须根据案件本身进行具体分析，标准是考查其行为的合理性。即考虑此行为是否实质性地限制竞争或趋于垄断，或者此种行为只是减少了并不必要的竞争，却从市场整体出发有益并促进了竞争，特别是对社会整体公共利益有益。合理原则的产生将法院从刻板地解释《谢尔曼法》的桎梏中解放出来，它使法院认识到，反垄断法的根本目标在于维护与促进公平竞争，如果竞争并未被实质削弱，则行为不应受到惩罚。毕竟，不管任何情况，让一个企业以自身的损失为代价而为其竞争者谋取利益是不合理的，因此占市场支配地位的企业可以进行合理的抗辩，如举证证明，拒绝交易是为了取得对其投资的适当回报，或是为了减少对其创新机制的负面影响等。 拒绝交易的典型案例是欧洲“1860区域结构”案。在本案中, 被告IMS公司因拒绝向竞争对手提供自己拥有版权的“1860区域结构”作品而遭投诉。“1860区域结构”针对德国每个不同的区域详细地列出该区所涉及的医药法律、法规及各种药品的销售资料, 该区域性销售报告在德国市场上广泛使用, 成为医药行业事实上的标准。新的医药信息竞争者如果想要在已有的市场结构下运营, 势必会侵犯IMS的版权。IMS公司在医药销售与处方资料等信息收售领域居于世界领先地位, 为阻止新的竞争对手进入医药信息相关市场, 其拒绝向新进入者授予“1860区域结构”的版权。欧共体委员会认为，“1860区域结构”已构成“关键设施”, 如果具有版权的“1860区域结构”使该市场上其他竞争者无法生存, 则市场失去了实质上的竞争。IMS没有合理理由拒绝许可已构成“关键设施”的“1860区域结构”版权, 会阻碍医药信息市场未来竞争秩序的形成, 违反“欧共体条约”第82条规定, 责令其以不歧视和商业上合理的条件, 将“1860区域结构”版权授予市场上的需求者。 在百度和360大战中，百度的行为具有合理的理由。在上文反不正当竞争法部分，本文已经论述了360不遵守爬虫协议，不仅损害百度的合法权益，还有可能对市场竞争秩序带来危害。这正是百度设置爬虫协议黑名单的合理的理由，在此不赘述。法院在面对拒绝交易起诉时都十分谨慎，因为尽管拒绝交易行为会产生对竞争秩序产生负面影响，但强制要求企业与竞争对手进行交易也会产生负面影响，即会严重打击企业在上游市场进行投资和创新的积极性。因此这就需要法院对市场竞争秩序和对企业创新机制进行衡量。通过对拒绝交易行为各要件的分析，对市场竞争秩序和企业创新机制的衡量，本案中百度设置爬虫协议黑名单并不构成我国反垄断法上的拒绝交易的行为。 四、结语： 互联网发展的日新月异带来了反不正当竞争法和反垄断法上的新课题。从反不正当竞争法角度上看，反不正当竞争法中规定的具体竞争行为已经无法规制许多新的竞争方式，这就需要借助反不正当竞争法的一般条款进行分析。竞争关系的认定十分灵活，以不正当手段谋取或破坏他人竞争优势的行为也可能据此认定竞争关系的存在。若竞争行为违反了市场竞争的基本原则，且对其他经营者和市场竞争秩序造成损害，则极有可能构成不正当竞争。从反垄断法法角度上看，将反垄断法适用于新兴的互联网领域也需要法院的多方考量，在判断经营者的市场支配地位，是否损害市场竞争和是否有合理理由时，都应当对市场竞争秩序和企业的创新机制进行平衡。 当前，包括百度和360爬虫协议大战在内的商业大战硝烟四起，互联网竞争的未来充满着不确定性。但唯一可以确定的是，互联网需要一个自由而公平的竞争环境。正所谓“技术的问题由技术解决，市场的问题由市场解决”，面对于新兴产业，武断地下结论、贴标签可能会造成遏制创新的严重后果，这就需要法院在谨慎地适用法律的基础上，对市场竞争秩序和企业创新机制进行全面而充分的利益衡量。 |
|
|
