“AI可能给人类带来灭绝风险。”最近，这句话在网上刷屏，又一次掀起了全球大辩论：这到底是预言家的警告，还是危言耸听？

自从生成式AI席卷全球，ChatGPT等语言模型刷新认知，日前，超过350名AI领域的行业高管、专家和教授签署了一封公开信，他们在信中警告称，AI可能给人类带来灭绝风险。

非营利组织人工智能安全中心发布声明：“将减轻人工智能带来的灭绝风险，放在和流行病、核战等社会问题同一高度，作为全球优先事项推进。”签署者包括OpenAI首席执行官山姆·奥特曼以及微软和谷歌的高管等等。

AI究竟会不会让人类灭绝？该不该暂停AI的研发？就这两个争议最大的问题，潮新闻邀请了几位AI大咖，来一场观点的交锋与碰撞。

问题一：AI会让人类灭绝吗？

南京航空航天大学网络与人工智能法治研究院副院长李宗辉：从表面上看，“灭绝人类”有点危言耸听，但从长远看，它有一定的道理。人无远虑，必有近忧，这封公开信的签署者很多是AI领域的科学家、技术人员和商业人士。显然他们是洞悉了AI在未来有可能产生自主意识。

从某种意义上来说，AI一旦产生了自主意识，它就会成为一个与人类并驾齐驱的“物种”。那就必然会演变成在社会有限资源当中，与人类为了生存和发展进行竞争的这样一种存在。

从这个意义上来说，把它与流行病和核战争相提并论，就不显夸张或极端了。甚至人工智能对于人类灭绝的威胁，可能比流行病和核战争有过之而无不及。像新冠疫情、黑死病等，自然界在一段时间之内会自动生发出一种抑制机制。而核战争，我们有核不扩散条约，核资源是可以靠人类进行控制的。但是如果AI产生了自主意识，那么对于人工智能体，我们既无法指望自然界生出一种抑制机制，更无法指望人类主体可以去控制他们。

浙江大学计算机科学与技术学院教授陈华钧：我个人比较赞成互联网预言家、杂志主编凯文·凯利的观点，对于新生的技术，应该过个5000天再来监管，当然对于GPT这类发展迅速的技术，可能5000天时间过长了。

我不认为AI能灭绝人类。其实，在人类移民火星、对抗自然界的病毒，以及治愈癌症这些重大事件上，我们非常需要AI的大力帮助。AI并没有那么可怕，但任何事物均有利有弊，所以我们应该鼓励发展，但要逐步加强监管。

中国科技大学教授、中国人工智能学会人工智能伦理与治理工委会主任陈小平：单纯从技术角度看，研发比GPT4更强的AI，技术本身不会有太大的危害。AI技术带来的负面影响，大多是在实际应用中发生的。如果把它“封印”在笼中，比如仅在实验室中研究和测试，它不会产生严重的社会性后果。

眼看着AI一路狂飙，特别是大模型技术，亟需人为的约束和治理。它要发展得好，一是靠技术的进一步完善，二是靠人工智能伦理治理。

如果等危害发生了，比如诱导AI出坏主意造成严重的恐怖事件，或者短期内造成大面积失业，人们再来治理，其后果很可能是难以接受的。

浙江大学计算机学院教授汤斯亮：“灭绝人类”的观点比较激进，但对人工智能确实应该保持谨慎态度。考虑风险是有必要的，比如做一些风险预防的预案，但是否需要踩刹车，属于仁者见仁智者见智了。

至少目前来看，人工智能对工具调用的风险还比较初步，对它毁灭人类的能力实际上还处在一个假想状态，当然这种状态已经比过去任何时候都更加真实。

问题二：要暂停AI大模型研发吗？

南京航空航天大学网络与人工智能法治研究院副院长李宗辉：我个人觉得目前至少应该是暂停，虽不能永久停止超大规模的AI研究，但在人类系统性地完成从研发到应用到审查这一套治理规范体系之前，无论法律上还是伦理上，我们可能还是应该暂停相关研究。

从算法视角上看，我个人认为可控、可信、可追溯这些特点最重要，只有科技人员确信对于超大规模语言工具的研究能做到这几点，开发才能够继续，当然还是在伦理和法律规范先行的情况之下。

但事实上这样的工作绝非易事。国家标准化管理委员会等部门曾经出台过新一代人工智能技术标准建设的指南，其中包含了对于人工智能安全和伦理标准的建设内容。但目前还没有任何有关人工智能安全和伦理的技术标准正式出台，这表明实际工作是很艰巨的。

浙江大学计算机科学与技术学院教授陈华钧：对于暂停AI大模型研发，我持反对立场，因为暂停几乎是不可能的。实际上，GPT模型的大部分技术点都可以从公开文献中获取，而且有算力就能实现。这不像核武器，即使你懂怎么造，也得获得原料才行，我认为完全暂停AI研究是不现实的。

其实，国产开源的大模型，最早是由几个本科生训练出来的，技术难度并不大。但要做得像GPT一样高质量的大模型，需要足够多的算力和大量工程技巧。与其考虑是否要暂停，我们更应当多花点心思在如何立法，以及如何加强监管方面，提早做一些准备，以后或许会要用AI来监管AI。

中国科技大学教授、中国人工智能学会人工智能伦理与治理工委会主任陈小平：面临人工智能的飞速进展，当下治理的模式、治理的措施都没有跟上。如果此时再推出更强大的AI，很有可能带来更严重的隐患。

从这个角度，有人选择暂停一下，等新的治理模式和方法出台以后，再来有序研发，不失为一种更稳妥的方式。

我们现在需要尽快建立人工智能伦理治理的新的模式、新的办法。办法有了，技术就可以放心地使用，不会发生严重的恶性后果，也有利于人工智能的健康发展。

“转载请注明出处”