央广网北京9月13日消息（记者黄昂瑾）近来，随着生成式人工智能（AIGC）的快速发展，其带来的安全治理问题成为业界关注的焦点。

今年7月，国家网信办等七部门联合公布《生成式人工智能服务管理暂行办法》（以下简称《办法》），自2023年8月15日起施行。9月11日，2023年国家网络安全宣传周（以下简称“网安周”）在福建福州正式开幕。开幕式当天举行的网络安全技术高峰论坛聚焦“人工智能发展与治理”主题，论坛结合新实施的《办法》，展开讨论。

生成式人工智能技术具有哪些特性、给人工智能（AI）安全治理带来了哪些新挑战？目前监管、厂商各方在人工智能安全治理方面有哪些思考和探索？央广网记者就此采访了行业专家和企业技术人员。

AIGC安全治理挑战何在？

今年6月，夏季达沃斯论坛发布的《2023年十大新兴技术报告》指出，生成式人工智能是一种通过学习大规模数据集生成新的原创内容的新型人工智能，在2022年底因ChatGPT发布而引起了公众广泛关注。

自2022年12月ChatGPT面世以来，生成式人工智能技术迅速掀起了一场科技浪潮，吸引国内外企业纷纷入局。高通公司近日发布的人工智能白皮书显示，据不完全统计，自2022年11月至今，国内已发布79个10亿参数规模以上的大模型，且新的大模型还在不断发布，数量持续增长。

中央网信办网络安全协调局局长高林指出，技术为经济社会发展带来新机遇的同时，也伴生了传播虚假信息、侵害个人信息权益、数据安全和偏见歧视等一系列问题，如何统筹生成式人工智能发展和安全是各界关注的问题。

中国新一代人工智能发展战略研究院首席经济学家、南开大学数字经济研究中心主任刘刚在接受央广网记者采访时指出，生成式人工智能存在的风险一方面体现在生成的内容可能存在个人隐私泄露、虚假信息宣传，乃至危害国家安全的风险。另一方面，基于生成式人工智能的交互性，使用者使用生成式人工智能技术时存在主观诱导的风险。

在今年网安周博览会上，多款人工智能大模型产品亮相。其中，蚂蚁集团对外发布了大模型安全一体化解决方案“蚁天鉴”，它包含了大模型安全检测平台“蚁鉴”、大模型风险防御平台“天鉴”，拥有AIGC安全性和真实性评测、大模型智能化风控、AI鲁棒和可解释性检测等多项功能。

蚂蚁集团资深安全技术专家李阳告诉央广网记者，相比于传统UGC（用户生产内容），AIGC（生成式人工智能）技术存在高时效、强交互，创作速度快、知识面广、且能批量生产等特点，从而带来系统防护时间短、不法分子作恶成本低等挑战。

而对于如何规避上述挑战，李阳指出，一方面构建提问意图理解分类模型，多轮次提问护栏能力，提升领域、话题、意图、风险方面的效果，这里对算法提出了很高的要求；另外一方面构建自适应防御的融合决策，实现基于内容、主体、行为、环境四维信息的异常发现恶意攻击；最后针对大模型训练数据的处理，“以我们内部要求来说，需要实现日均百亿级数据的处理，以保证模型迭代时效”。

他表示，大模型安全问题的本源可归为三类，即训练数据源头有毒、推理过程本身不可控、外部的恶意诱导。并由此推出解决思路，即首先需要一个测评工具，检测出大模型是否存在问题、存在什么问题；再者，如何处理大模型训练中出现的有毒数据、能否通过算法让大模型在训练和推理过程中更可控。

AIGC迎来发展规范

据国家网信办介绍，近年来，生成式人工智能技术快速发展，为经济社会发展带来新机遇的同时，也产生了传播虚假信息、侵害个人信息权益、数据安全和偏见歧视等问题，如何统筹生成式人工智能发展和安全引起各方关注。出台《办法》，既是促进生成式人工智能健康发展的重要要求，也是防范生成式人工智能服务风险的现实需要。

国家计算机网络与信息安全管理中心高级工程师张震在署名文章中指出，《办法》充分结合生成式人工智能特性，提出相应管理要求。针对生成式人工智能应用场景所具有的通用性，以及生成式人工智能具有的价值观属性和可引导性，《办法》分别从生成内容、算法设计过程及监管方式等方面提出要求。

例如，《办法》第四条规定，提供和使用生成式人工智能服务，“坚持社会主义核心价值观，不得生成煽动颠覆国家政权、推翻社会主义制度，危害国家安全和利益、损害国家形象，煽动分裂国家、破坏国家统一和社会稳定，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情，以及虚假有害信息等法律、行政法规禁止的内容”“在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视”“尊重知识产权、商业道德，保守商业秘密，不得利用算法、数据、平台等优势，实施垄断和不正当竞争行为”。

刘刚对央广网记者表示，《办法》针对生成式人工智能在使用中可能会出现的道德风险、隐私安全问题、社会公共安全等进行了预防和规范。

刘刚同时指出，“大模型的应用是非常重要的，规范是为了让它更好地发展。应用过程中，使它服务于人类社会的进步，同时及时发现问题并正确引导。”

国家网信办指出，《办法》提出国家坚持发展和安全并重、促进创新和依法治理相结合的原则，采取有效措施鼓励生成式人工智能创新发展，对生成式人工智能服务实行包容审慎和分类分级监管。

“发展可信安全的生成式人工智能已成为全球共识。发展与安全是一体两翼、辩证统一的关系，安全为生成式人工智能发展提出规范要求，同时也是其被市场应用、社会接受的基础。”上海人工智能实验室主任助理、教授乔宇指出。

更多精彩资讯请在应用市场下载“央广网”客户端。欢迎提供新闻线索，24小时报料热线400-800-0088；消费者也可通过央广网“啄木鸟消费者投诉平台”线上投诉。版权声明：本文章版权归属央广网所有，未经授权不得转载。转载请联系：cnrbanquan@cnr.cn，不尊重原创的行为我们将追究责任。