作者：陈家梁
引 言
一家从事消费品电商的中小企业，计划训练一个模型，用于批量生成商品文案、自动回复客户咨询。模型和算力都可以采购，但训练语料从哪里来，往往是遇到的问题。从成本和效率看，最直接的路径，是从电商平台、社交平台批量抓取用户评价、商品页面以及竞品发布的营销素材。这些内容无需特殊权限即可浏览，搜索引擎也能够检索，获取起来似乎并不困难。
但问题在于：公开可见的数据，能不能直接抓取并用于模型训练？
这不是一个凭“数据是否公开”就能回答的问题。网页允许普通用户浏览，不等于平台同意其他经营者持续、批量获取；数据能够被技术手段抓取，也不等于其中的数据可以被任意利用。对于企业而言，判断训练数据是否合法，至少需要分别回答三个问题：数据是怎么拿到的，拿到的是什么，以及拿去做什么。
这三个问题分别对应数据获取、数据内容和数据使用三个层面的法律风险，也是企业建立训练数据合规机制的基本框架。首先需要讨论的是，“公开可见”在法律上究竟意味着什么。
一、公开状态并不当然产生自由使用的权利
我们日常所称的“公开数据”，通常是指在互联网上可以访问的信息，并不等同于公共数据或者开放数据。数据处于公开状态，可能源于个人主动发布、平台经营展示、政务公开或者权利人许可。不同公开行为所针对的对象、目的和允许利用的范围并不相同，不能仅凭“登录（或访问）即可查看”推定权利人已经同意任何主体以任何方式使用。
《数据安全法》第三十二条规定，任何组织、个人收集数据，应当采取合法、正当的方式，不得窃取或者以其他非法方式获取数据。该条虽然没有针对网络爬虫设置具体规则，但确立了数据收集的一般要求。由此判断爬取行为是否合法，不能只考察最终取得的数据是否保密，还应当考察数据取得的渠道、授权范围及所采用的技术手段。【1】
2025年修订的《反不正当竞争法》第十三条第三款对此作了规定，经营者不得以欺诈、胁迫、避开或者破坏技术管理措施等不正当方式，获取、使用其他经营者合法持有的数据，损害其他经营者合法权益、扰乱市场竞争秩序。该款虽并非直接禁止经营者收集网络公开数据，仍以不正当获取或者使用方式、权益损害及竞争秩序受到扰乱等因素为基础。但对于依赖大规模网络抓取建立训练数据集的企业而言，数据获取已经有明确的竞争法审查依据。【2】
在最高人民法院2025年发布的指导性案例262号案中，被告未经许可，大量抓取其他平台的短视频、用户信息和评论，并在自己的应用中提供，导致两个平台的内容高度同质化，对原平台服务形成实质性替代。法院认为，平台经营者对于其汇聚形成的数据集合具有可以受到保护的经营性利益，相关抓取和搬运行为构成不正当竞争。【3】
短视频、用户评论及个人信息可能分别属于不同主体，单条数据也可能处于公开状态。法院在本案中关注平台为数据集合的形成和运营所作投入，以及被告的使用是否降低了用户访问原平台的必要性。因此，企业评估公开数据时，既要分析单项内容上是否存在个人信息、著作权等权利，也要考虑对平台数据集合的批量利用是否会损害其经营利益。
二、获取方式是判断爬取风险的重要事实
现行规则没有将网络爬虫本身规定为违法工具。搜索引擎收录、公开信息检索、价格比较和学术研究都可能依赖自动化程序。爬取行为的法律性质，需要结合平台是否设置访问限制、行为人是否规避限制、获取规模和频率、数据性质以及造成的影响综合判断。
平台设置的robots协议、用户协议和接口规则，可以用于说明其允许访问的方式和范围，但违反这些约定并不当然构成犯罪。与此相比，登录验证、验证码、动态令牌、访问频率限制、账号权限及接口鉴权等措施，更能反映平台对数据访问所设置的实际边界。企业采用伪造设备标识、轮换代理IP、破解验证码、逆向接口或者伪造请求参数等手段规避这些措施，通常会明显提高民事、行政乃至刑事风险。
讨论网络爬虫刑事风险经常引用北京市海淀区人民法院审理的（2017）京0108刑初2384号案件。该案被告人为抓取服务器中的公开视频数据，伪造设备标识绕过身份校验，并伪造用户代理和IP绕过访问频率限制，最终被认定构成非法获取计算机信息系统数据罪。该案说明，数据内容可以被公众访问，并不足以否定获取手段的非法性。【4】
不过，刑事责任的判断不能简化为“绕过技术措施即构成犯罪”。是否属于刑法第二百八十五条规定的非法获取，还需要结合违反国家规定、技术手段、系统安全保护、获取数据及情节严重等构成要件进行分析。robots协议、平台合同中的反爬条款、竞争法上的技术管理措施与刑法保护的计算机信息系统安全边界，也不宜作完全相同的理解。
从企业合规角度看，更实际的做法是审查技术方案所依赖的访问条件。如果数据只有在不断更换账号、IP或者设备标识后才能持续取得，或者项目组在收到平台警告、账号封禁后仍通过其他接口继续抓取，这些事实不仅反映获取方式可能超出授权范围，也可能被用于判断行为人的主观过错。此时，问题已经不再是爬虫程序能否继续运行，而是企业是否应当继续使用这一数据来源。
三、数据内容和训练目的需要分别审查
数据获取方式没有明显问题，并不意味着相关数据当然可以进入训练集。训练数据往往同时包含平台经营数据、个人信息和受著作权保护的作品，不同权益所要求的处理依据并不相同。
首先，涉及个人信息时，公开状态并不排除《个人信息保护法》的适用。该法第二十七条允许个人信息处理者在合理范围内处理个人自行公开或者其他已经合法公开的个人信息，但个人明确拒绝的除外；处理行为对个人权益有重大影响的，还应依法取得个人同意。合理范围的判断，通常需要结合信息公开目的、处理规模、保存时间、使用场景及对个人权益的影响。【5】
例如，求职者公开工作经历，通常是为了获得职业机会；医生、律师在机构网站公开执业信息，是为了身份展示和业务联系。企业将这些零散信息长期汇集，用于人物画像、自动化评价或者识别模型，与信息最初公开时可以合理预期的用途可能存在明显差异。国家网信办2026年8月发布的个人信息保护政策法规问答，也将收集、留存或者处理已公开个人信息的规模、时间、使用目的超出合理范围，列为需要关注的违法违规情形。
其次，新闻文章、研究报告、图片、小说和课程资料可以免费阅读，并不意味着作品已经脱离著作权保护。我国《著作权法》第二十四条列举了可以不经许可使用作品的情形，其中并未明确包括商业性人工智能训练。现阶段，模型训练中复制和使用作品的行为能否适用既有权利限制规则，仍需结合具体使用方式、训练目的、作品使用比例及对权利人利益的影响判断，企业不宜仅以数据来源公开作为不需要授权的依据。【6】
数据取得与数据使用在法律评价上属于两个环节。企业通过正常方式访问网页，不等于取得了复制全部内容并用于训练的许可；反过来，取得某一数据集的使用授权，也不代表供应方此前的抓取行为当然合法。对训练项目进行审查时，需要分别说明数据如何进入企业控制范围，以及企业凭什么将其用于特定模型和商业场景。
训练后的使用方式同样会影响风险判断。少量数据用于内部测试，与持续抓取整个平台并开发同类查询产品，在竞争影响上存在区别；模型提取一般规律，与输出端反复再现原文、图片或者个人资料，对著作权人和个人权益产生的影响也不相同。企业在立项阶段即应明确模型是内部使用还是面向公众提供服务，是否可能替代数据来源方的产品，以及是否具有降低记忆、复现和个人识别风险的技术措施。
对于向境内公众提供生成式人工智能服务的企业，《生成式人工智能服务管理暂行办法》第七条要求使用具有合法来源的数据和基础模型，涉及知识产权和个人信息的，还需满足相应法律要求。依据该办法第十九条，监管检查时，服务提供者可能被要求说明训练数据的来源、规模、类型和标注规则。企业、科研机构仅在内部研发和应用相关技术，未向境内公众提供服务的，不适用该办法；但其数据处理活动仍受数据安全、个人信息保护、著作权和反不正当竞争等规则约束。【7】
四、第三方采购不能当然替代来源审查
部分企业不直接实施网络抓取，而是向数据公司采购现成数据集。这种安排可以减少企业自行开发和运行爬虫产生的风险，却不能消除数据来源原有的权利瑕疵。供应商如果通过规避平台技术措施取得数据，或者数据集中包含未经授权的作品和个人信息，采购方仍可能面临数据无法继续使用、模型需要调整以及对外承担责任等后果。《数据安全法》第三十三条要求数据交易中介服务机构核验数据来源、审核交易双方身份并留存记录，也体现了数据交易中对来源说明和过程留痕的重视。【8】
因此，采购合同中的“供应商保证数据来源合法”只能作为责任分配条款，不能当然代替实质审查。企业应当根据数据的重要程度和使用范围，要求供应商说明原始来源、获取方式、授权链条、许可范围及其中可能包含的第三方权益。对于将用于商业训练或者核心模型的数据，仅提供网页链接或者笼统声明“均来自公开渠道”，通常不足以证明其可以被合法使用。
训练数据经过清洗、去重、标注、切分和多轮模型迭代后，原始数据与具体模型版本之间的关系会逐渐变得难以识别。如果企业在数据进入训练流程时没有保留来源记录，发生争议后再补充授权或者剔除特定数据，往往需要付出更高成本。来源管理因而不能停留在采购合同层面，还应与技术流程衔接。
较为稳妥的做法，是按照数据集建立来源档案，记录数据提供方、原始出处、获取方式、适用许可、个人信息和知识产权审查结果、入库时间及对应模型版本；对于存在权利异议的数据，保留停止使用、删除和回滚路径。企业还应将数据来源审查纳入模型立项、采购验收和版本发布流程，避免法务审查与技术训练彼此脱节。
五、企业需要建立能够说明数据来源的审查机制
公开数据的利用边界目前仍在发展之中，企业很难仅凭网站类别或者数据名称建立一张长期有效的“可爬取清单”。相比给出抽象的允许或禁止结论，更可行的管理方式，是围绕每一类训练数据形成可以复核的审查记录。
审查至少应覆盖四个方面：其一，确认数据来源及供应主体，区分自有数据、客户提供数据、公开网站数据和外购数据；其二，核查实际获取方式，包括平台协议、接口权限、访问限制以及项目组是否采用规避措施；其三，识别数据中包含的个人信息、作品和平台经营性利益，并确定相应处理或者使用依据；其四，结合模型功能、服务对象和输出方式，评估训练用途是否超出原有授权或者公开目的。
这些审查并不要求企业对每一项尚有争议的法律问题给出唯一答案。其意义在于，企业能够说明当时掌握了哪些事实，依据什么规则作出判断，采取了哪些降低风险的措施。对于来源复杂、权利状态不清或者必须持续规避访问控制才能取得的数据，企业则应考虑缩小使用范围、重新取得授权或者寻找替代数据源。
人工智能训练扩大了数据利用的规模和深度，也使数据从公开展示到商业开发之间的法律差异更加突出。判断公开数据能否用于训练，不能只看网页是否允许普通用户访问，而应同时审查获取方式、数据承载的权利和模型的实际用途。
对企业而言，训练数据合规的难点不在于证明互联网信息一概不能使用，也不在于为所有数据提前消除争议，而在于建立一套与技术流程相衔接的来源审查和记录机制。数据从哪里取得、以何种方式取得、授权是否覆盖训练以及进入了哪个模型版本，应当在数据进入训练流程时得到说明。模型投入使用后再回头寻找这些答案，往往已经来不及。
注释：
[1]参见《中华人民共和国数据安全法》第三十二条。
[2]参见《中华人民共和国反不正当竞争法》（2025年修订）第十三条第三款。该法于2025年6月27日修订通过，自2025年10月15日起施行。
[3]参见最高人民法院指导性案例262号：某科技有限公司诉某文化传媒有限公司不正当竞争纠纷案。
[4]参见北京市海淀区人民法院（2017）京0108刑初2384号刑事判决；皮勇：《非法获取公开的企业数据可构成犯罪》，中国社会科学网—中国社会科学报。
[5]参见《中华人民共和国个人信息保护法》第二十七条；国家互联网信息办公室：《个人信息保护政策法规问答（2026年8月）》。
[6]参见《中华人民共和国著作权法》第二十四条，中国人大网。
[7]参见《生成式人工智能服务管理暂行办法》第二条、第七条、第十九条，国家互联网信息办公室等七部门令第15号。
[8]参见《中华人民共和国数据安全法》第三十三条。
声 明 本文仅代表作者观点，不得视为发现律师事务所或其律师出具的正式法律意见或建议。如需转载或引用，请注明出处。
蜀ICP备：17000577号-1