近日，国家网信办开展为期两个月的“清浪·2023暑期暑期未成年人网络环境整治”专项行动，重点关注“人工智能问题”换脸、AI绘图等新技术新应用的风险。南都记者调查发现，随着人工智能技术的普及，隐藏的威胁在网络中广泛存在。其中，AI画图不仅简单地生成与未成年人的低俗色情图片和视频，AI换脸生成对话视频也只需几十元。这些新技术的出现给未成年人带来了看不见的隐患和风险。

一些“人工智能绘画”涉及轻度色情内容

2019年，国家网信办发布《儿童个人网络信息保护规定》，并于同年10月1日起实施，对儿童个人网络信息保护做出了详细规定。其中，儿童个人信息影响最严重的是儿童色情内容的持有和传播。

南都记者注意到，近日有网友反映，一些家庭视频网站上出现了人工智能画图涉嫌儿童色情的内容，称一些博主训练人工智能将女孩的脸摆成各种挑衅动作，以至于幼童的裙子抬起了镜头，一张“她下衣不见了的衣服”，并附有图片和文字。微博上，一篇强烈批评AI画图生成的“少女二维孕照”的热门帖子已获得数万网友点赞。

南都记者进一步调查发现，一些视频网站为此类人工智能生成的未成年人轻度色情图片和视频提供传播渠道。在实际搜索测试中，记者能够轻松搜索到许多人工智能生成的衣着暴露、性暗示姿势的女性图像。如果关键字更详细，就不乏软色情生成的未成年女孩图像。有的发布视频的人甚至在评论区留下照片链接，以换取观众的点赞和关注；有的还留下了自己的QQ号和联系方式来“接单”，声称如果有具体需求，可以在设定的详细描述文字生成上绘制模型。

在这次秘密访问中，记者还发现，在电商平台上，大量商家利用“AI画图”、“AI换脸”的内幕，生成美女视频。 “傻瓜式操作，初学者轻松上手，海量关键词描述免费使用”，一位商家在上述标语中说道，并称只需输入一系列关键词，即可智能生成你想要的图片。

您尝试购买后，客服会向您发送云链接和提取码。销售内容包括SD模型包、涂装快速修复、变现方式、安装说明等。对方发送的图像材料和描述性文字中，不少涉及低俗色情内容，很容易生成未成年少女的软色情图像。此外，评论区还发布了许多人工智能生成的学生图像。这些女孩有着稚气的面孔和姿势，表明她们是未成年软色情。

一些零售商在他们的页面上声称他们支持一步面部改造。“AI脱衣”技术瞄准学生群体

今年3月，一则“AI一键从衣服上拍下女子地铁照片”的新闻登上微博热搜。照片中的女人是一位博主。她在社交平台上发布了多张在地铁上拍摄的穿搭照片，却有人利用AI软件一键“脱衣服”，故意在网上传播。对此，该博主解释称，他将采取适当措施保护自己的权利，并希望引起人们对隐私权和个人形象保护的重视。

事实上，“AI脱衣”的危害甚至波及未成年人。记者通过交易员了解到，一些AI绘图软件还支持一键脱衣。一位卖家声称自己拥有“大量资源”，不仅出售绘图软件，还出售大量影像资料。在网站上，他将图集详细分为“二次元”、“国风”、“动漫”、“机甲”等类别。对方提交的图像中，出现了一些“女孩”、“女孩”等词语。有商家称，他们专门销售“AI画校服照片”图像素材，画面中是一位身穿校服的女学生，但衣着暴露，表情挑衅。

有经销商出售“AI绘画校服照片”的图片，照片上是一位穿着校服的女学生。

其中一些提供“AI脱衣”相关技术或服务的商家通过隐藏地址避免监控，输入验证码后查看；其他人必须先按照一定的公众号，然后发送密码才能接收验证码；或者通过客服咨询，对方在通话过程中提供一个网页链接，通过该链接下载最新版本的APP。记者目前的测试发现，未成年人在下载该软件时无需表明身份。他们可以非常轻松地通过输入关键字来查找频道。

生成换脸谈话视频仅需数十元

这些新技术除了产生低俗色情图片、视频外，还往往会在其他渠道带来风险和隐患。

随着“AI换脸”传播范围越来越广，不少网友警告称，人贩子盗取父母的脸部和语音信息，在未成年人单独行动时利用可视电话AI换脸模仿父母，为后代引导成年人有可能冲出人群实施绑架。当记者在短视频平台上搜索时，会弹出大量相关的短视频广告，并附有AI换脸软件的链接。链接到一款名为“AI Shooting”的软件后，主页上出现了各种名人和素人短视频。只要看一个25秒的广告，你就可以使用这个APP免费制作一个十几秒的视频。通常这些短视频下面都有下载链接，广告流量也相当可观。许多视频的评论数超过千条，转发量超过一万条。

此外，记者在电商平台上搜索，找到了几个支持一步变脸的商家页面，月销售额数百甚至数千。一位客服代表告诉记者，他们卖的是一款支持图片和视频一键换脸的软件，价格只有几十元。专家：强化平台主体责任，探索消费者集体诉讼制度

对此，中国互联网协会法律事务委员会副秘书长胡刚认为，人工智能，特别是以ChatGPT为代表的生成式人工智能，引发了新一轮颠覆性技术革命，带来了巨大的机遇和机遇。为全人类。强烈的挑战。近年来，我国陆续颁布了《生成式人工智能服务管理暂行办法》《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》等，都是人工智能法律体系的细化和完善。

中国社会科学院大学互联网法研究中心执行主任刘晓春认为，传统对软色情等不良信息的治理更多是基于对传播端的控制，比如禁止或限制传播内容。传播。有专门的内容生产者，用户只需要持续接收信息即可。扩散;传播开“现在的问题恰恰是，AI技术可以让内容生产变得非常容易，不需要专业人士或机构，任何人都可以成为生成器。那么之前对通信链路的控制就有点失控了。”

刘晓春表示，现在要做的不仅是继续传统的对不良信息传播端口的控制，还要转变为对技术工具本身，包括技术工具的发展过程的干预和控制。 “例如，在一些高风险场景中，这些人工智能工具需要提供标签来标记生成的图像和视频中的合成图像和非真实图像，或者在人工智能工具中插入隐式标签来跟踪特定的工具和用户。”治理的重点是对一些关键环节进行干预，比如电商平台、APP应用市场，包括直播间等收到不良信息的，严格管控并给予相应制裁，并对平台责任方进行整顿。 。

中央网信办专项行动七大重点之一就是解决新技术新应用的风险问题，包括利用“AI换脸”、“AI画图”、“AI一点击“脱衣”等技术生成与未成年人的图像。低俗色情图片和视频。 “这说明问题已经凸显出来，引起了有关部门的重视，并成为重点打击对象。”刘晓春表示，希望有关部门采取一些更加创新的治理举措，采取有针对性的措施。 “我认为总体上还是可控的。”

对于国内人工智能治理和维权，胡刚表示，要深化消费者权益保护组织、检察机关的消费者公益诉讼机制，研究建立消费者集体诉讼制度，并不断衔接和完善。协调。行政监察、民事公益诉讼、民事私益诉讼、综合调解。机制建设及时、高效、一体化、网络化的消费纠纷解决机制。

制片人：南杜记者刚

采访及撰稿：南都记者 张思琪 实习生姚楚乔