生成式人工智能的刑事

法律风险与对策

作者风采

高曼洁

北京市海淀区人民法院

刑事审判庭 一级法官

作者风采

秦鹏博

北京市海淀区人民法院

东升人民法庭 法官助理

以ChatGPT、New Bing、文心一言为代表的AIGC（AI Generated Content）类应用，利用人工智能技术生成内容，引发全球关注。在AIGC类应用高歌猛进的同时，不少国家和地区开始刹车或按下暂停键。近期，欧盟将ChatGPT、Dall-E等内容生成式人工智能列入高风险人工智能范围清单，意大利率先宣布，出于隐私保护的考虑，在全国范围内禁用Chatgpt。加拿大对Chatgpt的开发公司OpenAI调查，是否有未经用户同意搜集用户信息。一些高校、企业也部分禁用Chatgpt。这些举措足以表明，AIGC类应用在给人类跃迁式发展提供无限机遇的同时，也给互联网虚拟空间与现实社会秩序带来难以预测的挑战。

2023年4月11日，国家网信办发布了《关于<生成式人工智能服务管理办法（征求意见稿）>》（以下简称“意见稿”），着手从立法的角度规范我国生成式人工智能的发展进路。我们需要认识到，科技的发展在带来变革的同时，必然会伴随或加剧社会风险，特别是触及刑事法律红线的风险。为了从法律层面应对此类风险，海淀法院经过调研认为，生成式人工智能应用在使用中易引发五类刑事犯罪风险：

一是生成内容“类人性强”，易引发诈骗类犯罪。因“百科全书式”聊天机器人能高度模拟真人口吻，具有极强的“类人性”，更容易让人产生信赖，对话人在接收“答案”时也在无意识中受到引导，易引发感情类、财产类诈骗。如通过ChatGPT生成完整的诈骗套路话术，把ChatGPT包装成“虚拟角色”，使受害人误以为自己“坠入爱河”并遭受诈骗。此外，调研中还发现当前出现了众多名称中包含“ChatGPT”字样的微信公众号、小程序、网页、手机应用，上述“山寨版”ChatGPT虚假链接，通过吸引网民点击链接或下载使用，误导网民填写个人信息甚至进行付费，存在损害用户财产利益的风险，可能涉嫌诈骗罪；另有以投资AIGC类应用等新技术为名目吸收资金的违法犯罪行为，如以“元宇宙”代币为噱头进行传销犯罪等，可能涉嫌非法集资、非法传销和诈骗罪。

二是篡改后台程序算法，易引发涉计算机类犯罪。“山寨版”ChatGPT生成虚假链接，引诱对话人点击后，还可能发生恶意攻击电脑设备、侵入特定领域的计算机信息系统、非法获取相关数据等行为，涉嫌非法侵入计算机信息系统罪、破坏计算机信息系统数据罪等。如网络黑客入侵AIGC类应用后台，篡改信息生成算法和检索内容，定向修改某类检索内容结果，易误导网民，或造成流瀑效应，破坏网络公共秩序。

三是海量内容精准搜索，易引发传播淫秽色情、传授犯罪方法类犯罪。AIGC类应用依靠抓取海量信息数据，并通过深度学习算法生成检索内容，用户进行特定内容搜索，更容易获取淫秽色情、犯罪方法、宣扬暴力甚至恐怖组织等信息，若某些网站专门提供上述信息的AIGC检索服务，将大大降低获取违法犯罪信息成本，提高犯罪方法信息精确度，增涨相关违法犯罪行为发生风险。

四是生成内容可靠性存疑，易引发侵害人格权类犯罪。ChatGPT等AIGC类应用是对海量互联网信息的加工整合，信息真伪不明、道德边界感模糊。互联网上发布的娱乐八卦、网评等可能涉及个人隐私的信息，均可作为AIGC类应用的整合资源，且生成内容以“检索结果”展示，易让用户误认为“标准答案”。若用户不加甄别地使用、盲目引用未经核实的信息，可能涉嫌侮辱、诽谤、侵犯公民个人信息等侵害人格权类犯罪，并不因信息来源于互联网而排除刑事责任承担。此外，平台运营商也存在侵害用户个人信息的风险，如近期意大利宣布禁止使用ChatGPT，并限制其研发公司OpenAI处理意大利用户信息，理由为该平台出现用户对话数据和付款服务支付信息丢失的情况，且未就收集处理用户信息进行告知，缺乏大量收集和存储个人信息的法律依据。

五是生成内容来源跨平台，易引发侵犯知识产权类犯罪。ChatGPT等AIGC类应用的训练数据源于网络，属于对初级信息的二次加工，但加工行为与原创智力成果间的差别性边界尚不明确，对于虽已在互联网公开但著作权仍属于著作权人的作品，引用或加工程度不当则可能涉及侵犯著作权等犯罪。如近期ChatGPT研发公司OpenAI遭遇集体诉讼，被指控在未经许可的情况下使用受版权保护的源代码。

从上述调研结论中不难发现，生成式人工智能承担了信息收集者、信息加工者两个角色，最终成为服务提供者。把控好前端的服务提供者行为责任，能够从源头上降低生成式人工智能的刑事法律风险。《意见稿》明确并强化了“提供者责任”，概括来说，生成式人工智能的提供者需要承担的责任主要包括几个方面：

第一，信息源责任。内容提供者要确保可信信息源，从数据安全、个人信息保护、知识产权等方面，从源头处保证信息来源合法合规。如《意见稿》第七条规定，“提供者应当对生成式人工智能产品的预训练数据、优化训练数据来源的合法性负责。”可见，提供者首先应当为信息的来源负责。但是，面对海量的数据，如何进行信息过滤和筛选，尚需要提供可行性方案，以便提供者能够更好地把握信息来源。

第二，生成内容责任。生成式人工智能与传统的搜索引擎不同，不是简单的链接提供者，而在一定程度上属于内容加工者。在网络现有信息的基础上经过算法加工而成的结果，仍然需要合法合规。《意见稿》第四条中规定了，提供生成式人工智能产品或服务应当遵守法律法规的要求，尊重社会公德、公序良俗，需要做到诸如体现社会主义核心价值观、防止歧视、公平竞争、防止形成虚假信息、禁止非法获取个人信息和商业秘密等。可见，提供者需要对最终生成的内容承担符合道德、符合法律的义务。另外，在生成内容责任中，《意见稿》特别提出了对人工标注的规范，第八条中明确指出，“生成式人工智能产品研制中采用人工标注时，提供者应当制定符合本办法要求，清晰、具体、可操作的标注规则，对标注人员进行必要培训，抽样核验标注内容的正确性。”从标注的人员、到标注的内容上进行规范，也是对算法生成中一个重要的人工参与步骤进行合理引导，从旁提高生成内容的合法合规性。

第三，流程报备责任。主要包括申报安全评估、前置算法备案等备案义务。《意见稿》第六条规定，“利用生成式人工智能产品向公众提供服务前，应当按照《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》向国家网信部门申报安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。”通过报备的方式，使生成式人工智能置于主管部门的管理之下，也便于在发生违法违规行为时及时进行处置。

需要特别提出的是，《意见稿》的规定内容展现了对个人信息的全方位保护机制。第一，提供涉及个人信息的正向处理方案。包括事前收集信息的合理注意义务、事后的监管和及时删除义务。第二，反向禁止用户画像行为。《意见稿》中明确规定，“提供者在提供服务过程中，对用户的输入信息和使用记录承担保护义务。不得非法留存能够推断出用户身份的输入信息，不得根据用户输入信息和使用情况进行画像，不得向他人提供用户输入信息。法律法规另有规定的，从其规定。”

用户输入的信息妥善保管义务，能够涉及用户画像的信息往往与个人信息密切相关，即便用户在使用协议中同意提供者对信息进行收集和加工，但是仍然要遵守法律规范，不能利用收集到的信息做侵犯个人隐私或信息的违法犯罪行为。

通过调研并结合《意见稿》的内容，我院针对生成式人工智能可能发生的刑事法律风险，提出如下建议：

一是加大普法宣传力度，增强网民反诈意识，引导网民合法合规使用合法软件，准确识别被伪装的山寨链接，避免泄露个人信息。面对科技领域的颠覆性技术进步，法律工作者需要做好风险预判和普法宣传，让民众的风险意识与科技创新同步并行。

二是加快新技术规范立法工作，探索算法推荐等技术管理制度的落地路径，明确自动生成内容类应用检索信息的边界，提高应用开发和应用算法透明度，确保生成式人工智能应用开发和推广以安全、道德、尊重公民权利和隐私的方式规范开展。

三是加强对新兴技术的监管，确保智能AI的训练模型数据来源可信可靠，对于未在互联网公开或权利人明确禁用的信息源，及时督促运营企业从AI模型数据库中剔除，确保使用的正当性。

四是完善救济途径，在智能AI发布后，以提供补丁网站的方式，便利相关权利人提交不予授权的声明，并及时删除不予授权的信息源，以避免和解决AI使用过程中的权属争议。

总之，生成式人工智能在科技领域具有颠覆性，但同时，在全世界范围内应用时间尚短，需要对其应用过程中产生的风险进行有效的法律评估。法律风险同步评估，才能让科技在正确的轨道上为人类作用。