大数据杀熟、外卖骑手困在系统里、94岁老人被抬到银行做人脸识别……随着人工智能应用的快速普及，一系列伦理和安全问题浮出水面。

1月5日，全国信息安全标准化技术委员会（以下简称“信安标委”）正式发布《网络安全标准实践指南—人工智能伦理安全风险防范指引》（以下简称“指引”）。

多位参与编制工作的专家告诉南都记者，指引的出台，正是为了引导社会各方充分认识相关风险，确保人工智能安全可控地发展。

提出风险防范基本要求

指引将人工智能伦理安全风险总结为失控性风险、社会性风险、侵权性风险、歧视性风险及责任性风险。

“现在大家都在讨论人工智能的风险，但到底存在哪些风险？这个问题的答案其实没有那么清晰。因此，指引总结了五类风险，基本涵盖了当前有关人工智能的最重要的事项。”参与了指引编制的电子科技大学公共管理学院副教授贾开对南都记者说。

按照指引的描述，失控性风险，是指人工智能的行为与影响超出相关组织或个人预设、理解、可控的范围，对社会价值等方面产生负面影响的风险。

社会性风险，是指人工智能使用不合理，包括滥用、误用等，对社会价值等方面产生负面影响的风险。

侵权性风险，是指人工智能对人的人身、隐私、财产等基本权利造成侵害或产生负面影响的风险。

歧视性风险，是指人工智能对人类特定群体的主观或客观偏见影响公平公正，造成权利侵害或负面影响的风险。

责任性风险，是指人工智能相关各方行为失当、责任界定不清，对社会信任、社会价值等方面产生负面影响。

结合上述风险，指引提出了六条风险防范的基本要求，包括符合中国社会价值观、遵守法律法规、以推动可持续发展为目标，等等。

指引提出的风险防范基本要求。

值得注意的是，基本要求强调，“应尊重并保护个人基本权利，包括人身、隐私、财产等权利，特别关注保护弱势群体”。

当前，弱势群体遭受“算法歧视”的案例屡见不鲜。据媒体报道，美国科技公司Kronos曾提供智能筛选服务，借助“个性测试”淘汰得过心理疾病的人；亚马逊也曾利用人工智能系统筛选简历，结果因训练数据偏差出现“重男轻女”，项目团队最终解散。

“技术对人的负面影响，特别容易在弱势群体身上放大。而弱势群体往往缺乏相应的反馈渠道，他们的利益受到伤害后，更不容易被发现。”参与了指引编制工作的中国人民大学法学院副教授、未来法治研究院研究员郭锐告诉南都记者，指引提出这一基本要求，是希望引起各方对弱势群体的重视，关注他们的权益保障。

强调有法可依与用户选择权

除了明确风险防范的基本要求，指引还将人工智能活动归纳为“研究开发”“设计制造”“部署应用”和“用户使用”四类，就每一类活动的风险防范提出针对性建议。

据南都记者梳理，这些建议主要围绕人工智能的可解释性、可靠性、透明度、恶意应用、事故应急处置、风险救济等方面展开。

“与汽车、家具之类的商品不同，人工智能系统较为复杂，往往涉及到全链条的研究、产品和服务。所以指引把人工智能活动分为四类，希望把利益相关方都纳入进来。”贾开告诉南都记者，指引试图为各类活动主体提供可操作、可落地的指导规范，因此也特别考虑到了不同主体的独特性。

他以事故应急处置为例解释说，针对研究开发者，指引的要求是记录关键决策并建立回溯机制，进行必要的预警、沟通、回应。这是为了给科研工作留出一定自由度，平衡风险防范与创新发展。而针对设计制造者和部署应用者，指引的要求则更加严格，包括设置人工紧急干预机制、确保及时响应等。

整体而言，指引对部署应用者提出了更多要求。贾开认为，这是因为部署应用者更加多元、分散性更强，且直接面向用户。不同规模、性质的组织或个人，其风险防范能力也有差别，所以指引做了更加细致的规定。

南都记者梳理发现，指引回应了公众反映强烈的诸多问题。以频繁引发争议的强制使用为例，指引提出，部署应用者应向用户提供能够拒绝或停止使用人工智能相关系统、产品或服务的机制；在用户拒绝或停止使用后，应尽可能为用户提供非人工智能的替代选择方案。

指引还建议部署应用者向用户提供投诉、质疑与反馈机制，并提供包含人工服务在内的响应机制，进行处理和必要补偿。

值得注意的是，与11月公布的征求意见稿相比，指引在部署应用方面新增了一条表述：使用人工智能作为直接决策依据并影响个人权利时，应具有清晰、明确、可查的法律法规等依据的要求。

郭锐表示，许多人工智能应用都会对个人权利产生重大影响，但当前的一些应用并没有明确的法律依据。指引增加这一表述，是希望提醒各类组织和个人遵循“有法可依”的原则，防止侵害个人权利。

需要指出的是，指引并非国家标准，也不具备强制力。它所属的 《网络安全标准实践指南》是由信安标委发布的标准相关技术文件，旨在宣传网络安全相关标准及知识，提供标准化实践指引。这意味着，指引更多承担着方向引导和价值取舍参考的作用。

郭锐认为，指引虽然不具备和法律规定类似的强制力，但可以发挥法律难以企及的作用。“指引能够让研究开发者、设计制造者和部署应用者尽早认识到风险的存在，及时回应、管理风险，从而达到降低风险的结果。”他指出。

贾开则认为，人工智能的治理需要一套体系，指引可以作为体系的一部分。在法律和标准尚未成熟之前，指引的首要作用是引起社会各方的重视，并明确哪些可以做、哪些应该做。“虽然指引并不是强制要求，但人工智能的安全发展不仅是一个业务合规问题，也涉及到企业的长远发展。所以我认为，负责任的企业都会愿意参与进来。”

文/南都人工智能伦理课题组研究员 冯群星