王源 北京高勤律师事务所

2023年5月4日

2023年4月11日，国家互联网信息办公室发布《生成式人工智能服务管理办法（征求意见稿）》（“《办法》”），《办法》一共21条，意见反馈截止时间为2023年5月10日。通过从数据合规角度对《办法》进行解构，我们对网信部门首次尝试规制生成式人工智能的核心评述为应体现敏捷治理和鼓励包容创新的容错纠错治理思路，应区分服务提供者、技术支持者、内容生产者责任，仅要求合理商业努力和技术水平下的确保数据和内容真实性和服务连续性义务，增加用户对输入内容的实际控制权。虽然机器没有动机与情感，但有了足够智识与能力，衡量对生成式人工智能服务进行规制的必要性时应当考虑时间和方式。《生成式人工智能服务管理办法（征求意见稿）》在法律层面将责任归集和定性，实际上我们普遍认可且得益于法律的滞后性，因为只有技术进步带来的行为改变和交互关系发展到一定程度，才会形成一些自发秩序和用法律确认规则的必要，确保法律前瞻性地事先设置规则的好处与必要不会造成对技术发展和市场行为的抑制。

一、 人工智能促进政策文件与监管法律规定概述

中国有关人工智能的顶层政策文件最早见于《国务院关于印发促进大数据发展行动纲要的通知（国发〔2015〕50号）》（2015年），提及支持自然语言理解，机器学习，深度学习等人工智能技术创新，提高数据分析能力，知识发现能力和辅助决策能力；之后《国务院关于印发新一代人工智能发展规划的通知（国发〔2017〕35号）》（2017年）又规定，人工智能一种颠覆性技术，可能改变就业结构、冲击法律与社会伦理，侵犯个人隐私、挑战国际关系准则等问题。自2017年政府工作报告正式将人工智能列入战略性新兴产业后，历年的工作报告中均提及人工智能或者智能化。尤其是2019年之后各部委和地方均开始密集地出台人工智能产业促进政策、创新应用研究、发展成果展示等文件。

除顶层政策文件之外，《个人信息保护法》第62条确立了国家网信部门统筹协调有关部门推进“人工智能等新技术、新应用，制定专门的个人信息保护规则、标准”个人信息保护工作。在《办法》之前，有关人工智能的专门法律规定主要包括网信办《关于加强互联网服务算法综合治理的指导意见（国信办发文〔2021〕7号）》（2021年），规定利用三年左右时间，逐步建立治理机制健全、监管体系完善、算法生态规范的算法安全综合治理格局；网信办《互联网信息服务算法推荐管理规定》（2021年）对应用算法推荐技术提供互联网信息服务进行规定；网信办《互联网信息服务深度合成管理规定》（2022年）对五种（生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类）算法推荐技术中的生成合成类技术进行专门规定。《办法》为中国首部专门针对人工智能进行专项监督管理的规定，综合地对生成式人工智能监管的各项合规要求进行原则性规定。

二、 生成式人工智能产品与技术特点

生成式人工智能第一次大规模进入大众视野是OpenAI公司开发的ChatGPT（Generative Pre-trained Transformer, GPT）产品，由于最终产品形态为聊天（Chat）形式，因此被冠以ChatGPT这一名称。类似产品有NewBing、Google Bard、Midjourney、Deep Speed Chat等。该公司成立于2015年12月，产品先后经历了GPT-1、GPT-2、GPT-3几次迭代。中国厂商的类似产品目前主要有百度文心大模型（2023年3月16日）、360智脑（2023年4月9日）、商汤日日新SenseNova大模型（2023年4月10日）、阿里通义千问大模型（2023年4月11日）、网易玉言大模型、腾讯混元大模型、华为盘古等，大部分集中在2023年3月以后正式发布或者面市。

从1950年艾伦·图灵提出“图灵测试”，给出判断机器是否具有“智能”的方法，人工智能生成内容（Artificial Intelligence Generated Content, AIGC）经历了70多年的发展时间。是一种基于深度神经网络学习技术的生成对抗网络（Generative Adversarial Network, GAN），通过生成器（generator）和判别器（discriminator）接收和判别信息，对抗验证后产生输出新的信息，基于大数据和大算法模型使得机器语言和人类自然语言直接对话。与“传统”监督学习、强化学习、迁移学习等其他形式人工智能相比，不仅能对事实（facts）进行总结（summary），还可以进行逻辑推理（reasoning）和观点（opinion）输出。

ChatGPT及类似技术产品是一种亲大众的“看得见摸得着”的通用型互联网产品，不同于任何以往互联网产品：（1）既面消费侧、又面向公司侧，可直接使用或者通过API、Plugin接口等进一步开发；（2）既是一个平台、也是一个产品，与iOS或者安卓等手机操作系统类似，可以叠加开发新产品，不同的是用户不需要通过其他App软件转化也可以直接使用；（3）既是技术工具、又直接生成内容，与office软件等不同，本身基于大数据库，直接输出内容，且可以持续创作；（4）各行业均可使用，包括信息搜索、撰写论文、起草法律意见、书写处方、自媒体创作等全场景。是一个把所有数据统一集中利用的产品，还可以智能交互与自我优化，按照《办法》第2条的规定，“生成式人工智能，是指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术。”当然，在不同的技术和产品发展阶段，内容处理的能力和侧重是不一样的。

三、 《生成式人工智能服务管理办法（征求意见稿）》主要内容

1. 网络安全

《办法》第1条至第3条拟从发展角度强调“促进生成式人工智能健康发展和规范应用”和“国家支持人工智能算法、框架等基础技术的自主创新、推广应用、国际合作”，从安全角度规定依据《网络安全法》《数据安全法》《个人信息保护法》制定《办法》，其中“鼓励优先采用安全可信的软件、工具、计算和数据资源”细化了《网络安全法》第16条关于“推广安全可信的网络产品和服务”的规定，将软件、工具、计算和数据资源均纳入网络产品和服务中，需要满足安全可信要求。

2. 算法安全

（1） 算法评估和备案

《办法》第6条拟规定，利用生成式人工智能产品向公众提供服务前，应当按照《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》向国家网信部门申报安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。

a. 算法评估

《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》规定的具有舆论属性或者社会动员能力的互联网信息服务包括论坛、博客、微博客、聊天室、通讯群组、公众账号、短视频、网络直播、信息分享、小程序等公众舆论表达渠道或者具有发动社会公众从事特定活动，需要自评估或者第三方评估后，报送网信部门和公安部门。《办法》相当于将“人与人”间交流对话产生的舆论属性或社会动员能力同样适用于“人与机器”智能互动，面向公众的生成式人工智能产品默认普遍性地具备舆论属性或者社会动员能力。

b. 算法备案

《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》仅针对直接向公众提供服务的服务提供者，不针对向服务提供者提供技术的技术支持者。《互联网信息服务算法推荐管理规定》也规定，具有舆论属性或者社会动员能力的算法推荐服务提供者应当备案。根据《互联网信息服务深度合成管理规定》第19条第2款，深度合成服务技术支持者应当参照前款规定履行备案和变更、注销备案手续。也就是说，提供深度合成服务这一类算法的技术支持者也需要参照规定进行备案。因此，备案的要求实际也适用于生成式人工智能的技术支持者。

《办法》还拟进一步规定，通过提供可编程接口等方式支持他人自行生成文本、图像、声音等，承担该产品生成内容生产者的责任。实际上将服务提供者、技术支持者、内容生产者在《办法》中混同，实际效果为凡是从事生成式人工智能产品研发、技术支持、内容生产的任何一方，均需进行评估和备案。

c. 互联网新闻信息服务“双新评估”

根据《互联网新闻信息服务新技术新应用安全评估管理规定》，用于提供互联网新闻信息服务的创新性应用（包括功能及应用形式）及相关支撑技术，应当根据新技术新应用的新闻舆论属性、社会动员能力及由此产生的信息内容安全风险确定评估等级，审查评价其信息安全管理制度和技术保障措施（“双新评估”）。虽然《办法》没有提及双新评估，但《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》第16条引述了《互联网新闻信息服务新技术新应用安全评估管理规定》，因此如果生成式人工智能产品提供互联网新闻信息服务，还应当考虑进行双新评估。

（2） 预训练数据和优化训练数据真实合法

《办法》第7条拟规定，提供者应当对生成式人工智能产品的预训练数据、优化训练数据来源的合法性负责，能够保证数据的真实性、准确性、客观性、多样性以及不侵犯知识产权和个人信息等合法性要求。该条为数据质量要求，《个人信息保护法》亦有规定。

（3） 人工标注要求

《办法》第8条拟规定，生成式人工智能产品研制中采用人工标注时，提供者应当制定符合本办法要求，清晰、具体、可操作的标注规则，对标注人员进行必要培训，抽样核验标注内容的正确性。该条为技术要求，实践中涉及标注的需要满足要求。

（4） 算法优化

《办法》第15条拟规定，对于运行中发现、用户举报的不符合本办法要求的生成内容，除采取内容过滤等措施外，应在3个月内通过模型优化训练等方式防止再次生成。根据该条实践中需加强内容过滤措施。

（5） 算法可解释性

《办法》第17条拟规定，提供者应当根据国家网信部门和有关主管部门的要求，提供可以影响用户信任、选择的必要信息，包括预训练和优化训练数据的来源、规模、类型、质量等描述，人工标注规则，人工标注数据的规模和类型，基础算法和技术体系等。该条规定了面向监管解释算法原理。

3. 内容安全

（1） 社会主义核心价值观

生成式人工智能主要是内容生成，而内容在传统上一直面临严监管。《办法》第4条第（一）项拟规定，利用生成式人工智能生成的内容应当体现社会主义核心价值观，不得含有颠覆国家政权、推翻社会主义制度，煽动分裂国家、破坏国家统一，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情信息，虚假信息，以及可能扰乱经济秩序和社会秩序的内容。该等规定实际上2019年已在《网络信息内容生态治理规定》里进行了明确，也是所有互联网产品和服务均需遵守的规定，严重违反上述规定直接对应的是《刑法》中的刑事责任。

（2） 算法公平与防止歧视

《办法》第4条第（二）项拟规定，在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取措施防止出现种族、民族、信仰、国别、地域、性别、年龄、职业等歧视。第12条还拟专门规定，提供者不得根据用户的种族、国别、性别等进行带有歧视性的内容生成。体现了人工智能中的公平公正的伦理要求。

（3） 内容真实准确、防止虚假信息

　《办法》第4条第（四）项拟规定，利用生成式人工智能生成的内容应当真实准确，采取措施防止生成虚假信息。这同样也是《个人信息保护法》中数据质量要求的体现，但实践中很难确保内容绝对真实且不产生虚假信息。

（4） 用户服务和管理

　《办法》多条规定对用户的服务要求和管理责任。具体包括发现、知悉生成的内容侵权应当停止生成、防止危害秩序（第13条第2款），生命周期内持续提供服务（第14条），指导用户科学认识和理性使用生成式人工智能生成的内容和用户投诉权利（第18条），发现用户违法违规行为应当暂停或者终止服务（第19条）。

（5） 人工智能生成内容标识

《办法》第16条拟规定，提供者应当按照《互联网信息服务深度合成管理规定》对生成的图片、视频等内容进行标识。

《互联网信息服务深度合成管理规定》规定了一般标识、显著标识、提示显著标识三种标识要求。其一，一般标识（第16条）。深度合成服务提供者应当采取技术措施添加不影响用户使用的标识，为一般性要求；其二，显著标识（第17条第1款）。深度合成服务提供者提供智能对话、智能写作、合成人声、仿声等语音生成或者显著改变个人身份特征、人脸生成、人脸替换、人脸操控、姿态操控等、沉浸式拟真场景等具有生成或者显著改变信息内容功能的服务，均需显著标识；其三，提示显著标识（第17条第2款）。深度合成服务提供者提供第17条第1款规定之外的深度合成服务的，应当提供显著标识功能，并提示深度合成服务使用者可以进行显著标识。

4. 数据安全

《办法》第4条第（五）项和第13条原则性要求保护个人信息和隐私、商业秘密，当然也包括上位法《数据安全法》下的核心数据和重要数据以及《网络安全法》下的一般网络数据等。2023年3月，OpenAI 官方确认有1.2% 的 ChatGPT plus 的用户的数据可能已经被泄露，意大利和德国等欧洲国家官方均禁止使用ChatGPT或对其开展调查，韩国三星公司半导体机密泄露等。2023年4月10日，中国支付清算协会发布《关于支付行业从业人员谨慎使用ChatGPT等工具的倡议》，倡导支付清算行业对于ChatGPT等工具的使用应加强风险防范和数据保护意识，不上传国家及金融行业涉密文件及数据、本公司非公开的材料及数据、客户资料、支付清算基础设施或系统的核心代码等。数据安全与泄露为各国所担心的重点问题。由于数据库庞大，数据安全尤其是数据泄露是生成式人工智能面临的核心风险。

5. 个人信息保护和隐私保护

个人信息、隐私、肖像、名誉等人格权均在《办法》中得以规定。

（1） 网络实名制

《办法》第9条拟规定，提供生成式人工智能服务应当按照《中华人民共和国网络安全法》规定，要求用户提供真实身份信息。实际上通过《个人信息保护法》《互联网用户账号信息管理规定》《互联网用户公众账号信息服务管理规定》《互联网用户账号名称管理规定》等规定，网络实名制已经普遍建立。

（2） 用户输入信息保护

用户输入信息可能包含个人信息，且为用户思维外化的私密信息或者通讯内容。《办法》第11条拟规定，提供者在提供服务过程中，对用户的输入信息和使用记录承担保护义务。不得非法留存能够推断出用户身份的输入信息，不得根据用户输入信息和使用情况进行画像，不得向他人提供用户输入信息。

《办法》第13条拟规定，提供者应当建立用户投诉接收处理机制，及时处置个人关于更正、删除、屏蔽其个人信息的请求。该条规定为事后救济规定。实际上《个人信息保护法》还规定了更广的个人对信息处理全过程的控制权，包括事先要求仅对个人信息按照特定目的进行处理的要求，例如拒绝将输入信息再次用作训练数据加以使用，这也是个人信息处理最小化的要求。

（3） 防止沉迷

《办法》第10条拟规定，提供者应当明确并公开其服务的适用人群、场合、用途，采取适当措施防范用户过分依赖或沉迷生成内容。该条主要是防止对人工智能生成内容的过度依赖，目前ChatGPT产品等会有机器自动生成虚假信息出现机器幻觉等现象。

（4） 个人同意

《办法》第7条第2款第（三）项拟规定，数据包含个人信息的，应当征得个人信息主体同意或者符合法律、行政法规规定的其他情形。在个人同意问题上，如果用户主动输入内容，用户通过行动实际上已经表示了有效同意，但用户之前为特定目的提供的个人信息用做生成式人工智能计算是否超出当初目的？因为生成式人工智能需要大量数据，平台内各业务单元数据可能会高度聚合，还可能涉及利用公开个人信息是否符合《民法典》规定的合理利用要求，为个人信息保护领域走出“同意困境”再增多路程。

四、 《生成式人工智能服务管理办法（征求意见稿）》适用

1. 适用地域范围和数据跨境

《办法》第2条第1款拟规定，研发、利用生成式人工智能产品，面向中华人民共和国境内公众提供服务的，适用本办法。这和向境内自然人提供产品或者服务或者分析、评估境内自然人的行为也适用《个人信息保护法》的立法思路是一致的。因此，如果境外网站或者App提供面向境内个人的生成式人工智能产品或服务，同样需要遵守《生成式人工智能服务管理办法（征求意见稿）》。如果向境内个人提供服务同时收集了个人信息并出境，还需要满足出境的前置要求。

2. 适用主体范围和内容生产者与个人信息处理者的责任

《办法》第5条拟规定生成式人工智能服务提供者和可编程接口等技术支持者均需承担内容生产者责任，涉及个人信息的，承担个人信息处理者责任。由于生成式人工智能产品的通用性，实际上很难避免不处理个人信息，因此在生成式人工智能产品的责任链上涉及多个身份不同的主体，当然这些身份也可以同时被一个主体所承担。

《个人信息保护法》中对个人信息处理者的身份可进一步划分为个人信息处理者、接受个人信息处理者委托的处理者、共同处理个人信息的共同处理者。整理来看，接受委托的处理者责任轻于个人信息处理者。但是，《办法》将服务提供者、技术支持者、内容生产者责任完全混同，这和《互联网信息服务深度合成管理规定》是直接矛盾的。《互联网信息服务深度合成管理规定》明确区分了深度合成服务提供者（是指提供深度合成服务的组织、个人）和深度合成服务技术支持者（是指为深度合成服务提供技术支持的组织、个人），在涉及内容责任时，均明确为服务提供者责任，按照《办法》目前的思路，所有服务提供者的内容责任均需技术支持者也承担，更不用说，服务提供者和内容生产者其实还有区分，提供服务的平台不一定生产内容。

3. 生成式人工智能中的伦理问题

如果说ChatGPT和同类产品摘取了人工智能技术皇冠上叫做自然语言处理的明珠，那么伦理问题则是照亮人工智能研发和应用中风险防范和合规规制航程的灯塔，它保护人之为人最根本的诉求与底线。2022年3月中共中央办公厅、国务院办公厅《关于加强科技伦理治理的意见》将生命科学领域的伦理理念移植到科技领域，规定科技伦理是开展科学研究、技术开发等科技活动需要遵循的价值理念和行为规范，治理原则包括增进人类福祉、尊重生命权利、坚持公平公正、合理控制风险、保持公开透明。《办法》中的防止歧视、公平公正、算法可解释性等原则性要求已经触及伦理问题。

2023年4月科技部公开征求对《科技伦理审查办法（试行）》的意见，拟详细规范科学研究、技术开发等科技活动的科技伦理审查工作，对科技伦理（审查）委员会的设立及工作流程等进行了细致的规定，在七种需要专家复核的科技活动中有两种均和人工智能与算法相关，分别为具有舆论社会动员能力和社会意识引导能力的算法模型、应用程序及系统的研发；面向存在安全、人身健康风险等场景的具有高度自主能力的自动化决策系统的研发。这两项内容在生成式人工智能技术中均涉及。

总结：生成式人工智能使得信息的收集与分析决策更加高效便捷，实质性减少了信息不对称问题，其搜索问答产品功能提供了集中统一权威的信息来源和问题答案，机器通过大数据学习有了自己主观的判断，相当于生产工具直接供给内容，技术不再中立。因此，对生成式人工智能进行严格监管是必然的，《生成式人工智能服务管理办法（征求意见稿）》应该会很快正式生效，预测以部门规章形式通过，以彰显其重要性。违反《生成式人工智能服务管理办法（征求意见稿）》将被处人民币10 万元以下罚款，但是结合《数据安全法》和《个人信息保护法》，最高罚款额可达是人民币1000 万元、5000万元或者上一年度营业额的5%。在中共中央、国务院2022年2月《关于构建数据基础制度更好发挥数据要素作用的意见》等多份顶层数据治理文件中，多次强调敏捷治理和鼓励包容创新的容错纠错治理思路，而不是颈箍咒般先套上监管膜具决定技术的成长形状，《生成式人工智能服务管理办法（征求意见稿）》中对于训练数据真实准确、生成内容准确、服务连续性等绝对性要求可能并不符合技术目前发展的特性和阶段。此外，将服务提供者、技术支持者、内容生产者的责任混同并泛化过于严格，实际上通过给予用户充分的提示和对个人信息和输入内容更多控制，更能通过平台自律和个人自主方式，对生成式人工智能进行“政府监管与市场自律”的协同治理。

本文非法律意见

（根据2023年4月17日法宝学堂讲座内容整理并略加结构调整和内容修改，韩梅对本文亦有贡献。）

参考资料：

1. 清华大学中国科技政策研究中心：《中国人工智能发展报告（2018）》。

2. 中国信息通信研究院：《人工智能生成内容（AIGC）白皮书（2022）》。

3. 历年政府工作报告。2017、2018、2019、2022、2023政府工作报告提及人工智能，2020年政府工作报告提及智能制造，2021年政府工作报告提及智能化，在2017年之前的政府工作报告中也提及智能化等类似概念。

4. 近年各行业部门密集出台的人工智能政策文件。例如：工信部《促进新一代人工智能产业发展三年行动计划（2018-2020年）（工信部科[2017]315号）》（2017）、教育部《高等学校人工智能创新行动计划（教技〔2018〕3号）》（2018）、科技部《发展负责任的人工智能:新一代人工智能治理原则发布》（2019）、最高人民法院《关于规范和加强人工智能司法应用的意见（法发〔2022〕33号）》（2022）等。

5. 刺猬公社编辑部：“国产ChatGPT命名图鉴”，载刺猬公社公众号，https://mp.weixin.qq.com/s/4LFZ4kTW8fxDjY7PR42YxQ，最后访问时间：2023年4月27日。