张孝荣

编者按：

对于包括Sora在内的人工智能产业，作者认为，它将很快迎来一个“高速增长的拐点”——而这也将带来一个重要的问题：垃圾内容爆发，互联网内容面临规模化污染。AI技术本身的快速发展，使得它在某些领域已经可以以假乱真，那么，如何应对这种如同洪水席卷而来的挑战？

香港公司遭遇AI诈骗

2024年1月，中国香港一家跨国公司分部遭遇了一场精心策划的AI诈骗，导致该公司损失高达2亿港元。

据悉，这家跨国公司香港分部的一名职员在接到总部CFO发起的“多人视频会议”邀请后，毫无戒心地参与了会议。在会议中，对方利用先进的AI技术模仿公司高层的语音和形象，下达了转账指令。职员在未经核实的情况下，依照指示将2亿港元分多次转入了5个本地银行账户。随后，该职员向总部查询才知道受骗报警。

这起事件不仅震惊了商界，也引发了社会对AI技术安全和隐私保护的深刻反思。

显然，这是新兴的AI诈骗。诈骗分子先是收集了该公司高层管理人员的公开信息，如YouTube视频、社交媒体照片和公开演讲等，接着使用人工智能技术对这些信息进行深度伪造，制作出与目标人员高度相似的虚假形象和声音，然后利用这些虚假形象和声音制作预制视频，并通过电子邮件或社交媒体等方式发送给目标公司的员工，冒充公司高层管理人员进行诈骗。

员工在以假乱真的氛围里，失去了警惕，造成了巨大的经济损失。

最近两年，AI技术正在快速发展，在某些领域已经达到了以假乱真的程度，这种技术给违法犯罪留下了空间。

目前暴露的香港诈骗虽是个案，但我们可以确信，随着AI技术的不断发展，AI犯罪风险也会水涨船高。

互联网面临规模化污染

尽管AI有违法犯罪的风险，但这阻挡不了AI算法加速升级完善，也阻止不了AI产业快速增长。毫无疑问，不久的某个时刻，产业将迎来一个高速增长的拐点。这个拐点也将把一个少人关注的问题狠狠地甩给世界：垃圾内容爆发，互联网内容面临规模化污染。

AI制造垃圾内容的红号正在闪烁。去年5月，一组英国和加拿大科学家发布了一篇论文，旨在了解在几代AI彼此之间进行训练后会发生什么情况。论文提到一个案例是，第九代AI在原始的材料内容是关于中世纪建筑的情况下，开始谈论不相干的内容。

研究论文的作者之一、剑桥大学教授Ross Anderson指出，数学模型显示，“在几代AI传承之内，输出的文本就变成了垃圾”。他们还指出，图像也会失去可理解性。Anderson将其进一步引申为大规模的污染，写道：“正如我们将海洋填满了塑料垃圾，大气层充斥着二氧化碳一样，我们即将用无聊的内容填满互联网。”

在AIGC加持下，一些知识型网络社区成为生成无脑答案的重灾区，这些内容描述简短、概括性十足，细看逻辑混乱、错误百出。在某些平台上，用AI生成的虚假新闻已经泛滥。有观点认为，虚假、无意义、同质化的内容正在呈指数级增长，这些批量化、同质化、粗劣化的“AI作品”如果不加以甄别，进一步被抓取作为训练AI的语料，AI大模型必然将会走向崩溃。

垃圾内容的生产呈现一种规模化的趋势。在线虚假信息监测机构NewsGuard去年夏季曾警告称，他们发现了277个新闻网站，看起来完全是由人工智能编写的。这些“垃圾网站”存在的目的就是诱导用户点击访问，并通过其中显示的广告赚取收入，其中名为TNN的网站甚至每天可生成逾1200篇文章，该网站完全由爬虫及 “转换语法后重写一遍”的AI脚本控制。

上述AIGC内容尚可分辨，还有一种新的形式。OpenAI与马斯克隔空互撕，有心之人利用生成式AI大量生产新闻消息，同样的信息源衍生了无数种结论，这些结论有真有假，普通人几乎难以分辨。因此，随着AI技术进步的快速发展，我们也要高度警惕AI违法犯罪。

大模型加速升级运转

2024年2月16日，OpenAI发布了Sora大模型，将以假乱真的技术推到了一个新高度。

值得注意的是，Sora逼真的视频效果刷新了社会对AI能力边界的认知。它的问世，就如同一枚“深水炸弹”，再次引爆全球科技圈。此前推出的文生视频产品大多只能生成几秒到十几秒的连贯视频，而Sora能将简短的文本描述转化成长达1分钟的高清视频，且视频更为真实立体，场景复杂、角色多元，画质卓越、连续稳定。

Sora何以如此强大？

据官方介绍说，Sora具备一个叫做“世界模型”的核心，使得AI能够像人类一样理解和模拟物理世界。这个模型帮助Sora在视频中描绘出更加流畅、逻辑一致的动作，并且为AI在自动驾驶和智慧城市等领域的应用奠定了基础。

当然，“世界模型”这个名词不免有些营销味道，尽管Sora取得了显著进步，却依然面临着诸多挑战。

很多测试发现，在实际应用中，Sora的世界模型并不能完美地复现现实世界的所有细节。比如在模拟越野车行驶时的倾斜和颠簸感方面做得很逼真。但它在细节上仍有欠缺，如无法准确地模拟地面轮胎压过的痕迹。这些不足，带来一个质疑：Sora理解的可能是平面透视，并非三维的现实世界。

瑕不掩瑜，Sora的价值不仅在于视频做得有多么惊艳，而是在于其背后AI技术迭代速度——算法正在进入一个加速时代。

首先，Sora基于Transformer架构的文生视频模型，它建立在DALL·E 3和GPT4两个模型之上。

其中，Dall-E由OpenAI发布于2021年1月5日。那时的Dall-E可以根据文字描述创建逼真和清晰的图像，制作建筑物上的标志，并制作同一场景的草图和全彩图像。2022年4月，Dall-E 2发布。2023年9月21日，DALL·E 3发布。从2021年1月到2023年9月，这个过程大概耗费了32个月。

GPT-1则是OpenAI 在2018年推出的第一代生成式预训练模型。2022年11月30日，OpenAI发布ChatGPT。这一款革命性产品的上线引发全球关注。2023年3月15日，GPT-4正式面世。这个过程大概耗费了5年，即60个月。2024年2月16日，OpenAI正式发布文本到视频生成模型Sora。

值得注意的是，从GPT1到GPT4，耗费了60个月；从Dall-E 1到Dall-E 3花了32个月；但是从Dall-E 3到Sora发布，用了不足5个月。

或许，我们不能武断地认定，GPT4一定会加速所有AI大模型的迭代升级，但是，GPT的进化对Dall-E的升级是有帮助的，而GPT和Dall-E的共同进化，对催生Sora的助力是显而易见的。这种加速度，让OpenAI遥遥领先，令竞争对手望尘莫及。

产业大洪水

Sora的到来，预示着一场产业大洪水的到来。

一方面，这场洪水会给传统行业带来挑战。Sora发布的次日，美国电脑软件公司Adobe股价暴跌超7%；美国图片库、图片素材、图片音乐和编辑工具供应商Shutterstock跌超5%；几周前发布了“文生视频”工具Lumiere的谷歌母公司股价下挫1.58%。三家公司一天内就合计蒸发近480亿美元的市值。

另一方面，ChatGPT震惊全球和Sora惊艳亮相，对人工智能各领域起到了加速作用，无论是闭源还是开源的大模型，如雨后春笋涌现出来。随着国际AI巨头持续不断的推动，大模型行业发展势不可挡。

在2023年末至2024年初，美国蓄势待发的AI大模型，如GPT-4、PaLM 2、Claude v1、Cohere、Gemini、LLaMA、Guanaco-65B、Vicuna 33B、MPT-30B等都受到了更多关注。而Pika、HeyGen等与Sora类似的AI应用也逐渐火热起来，这验证了大模型多模态技术的持续进步，日益成熟。

与此同时，涌入AI领域的资金也在快速增长。据业界不完全统计，2023年上半年，美国AIGC一级市场中，硅谷在人工智能领域共完成了42起融资，总金额约140亿美元，占世界总融资金额的55%。平均轮次融资金额为3.3亿美元，是平均融资水平的近13倍之多。其中，8家人工智能明星独角兽公司拔地而起，平均轮次融资金额3.3亿美元。

作者简介

张孝荣，深度科技研究院院长