第二期 从美国人工智能两项关键技术的突破,看值得我们借鉴的经验

人工智能
后台-插件-广告管理-内容页头部广告(手机)

上文《我们还没有补齐第三次工业革命的短板,第四次工业革命又再度落后》,阐述了美国人工智能的集中爆发,对比了中美之间人工智能上的差距,同时提出了一个问题,我们到底差在哪儿?那么今天的这篇短文,就让我们从微观层面上揭开原因。我讲的都是一些新东西,感兴趣的朋友请点击关注,我会不负你所望。

美国OpenAL公司推出的ChatGPT,是一个大型语音模型的人工智能。它远比一个单项的人工智能有意义得多。对于单项的人工智能,我们并不陌生。从苹果Siri、微软小冰、智能音箱,这些产品已经融入到我们的生活中,但是基本都有一个特点——还比较笨,跟我们在《流浪地球2》中看到的MOSS相差十万八千里。

但这次的ChatGPT有点不一样。它不但可以实现多轮文本对话,语言生成图画;也可以写代码、写营销文案、写诗歌、写商业计划书、写电影剧本;还可以在它的基础上,创造出看病机器人,为癌症患者提供治疗方案。虽然并不完美、也会出错,但看起来无所不能。ChatGPT的出现不亚于在人工智能行业投下了一枚“核弹”,越来越多的公司开始将ChatGPT融入其产品中,或者推出新的产品。美国一些资本公司估计,生成型预训练变换模型,会诞生数十家企业巨头,有潜力产生数万亿、甚至几十万亿美元的经济价值。前微软CEO比尔·盖茨对ChatGPT评价为“不亚于互联网诞生”,现微软CEO萨提亚·纳德拉将其盛赞为“堪比工业革命”。连埃隆·马斯克都评价道:“ChatGPT好得吓人,我们离危险的强人工智能不远了。”

那OpenAL公司是怎么做到的呢?

他有两点重大突破:一是大语言模型技术,二是U型训练技术。

大语言模型技术出自乌克兰的一家上市公司,微软的OpenAL公司,要购买他的技术,招募他的人才,自然不费功夫。

U型训练技术来自谷歌,谷歌的这项技术,又是收购的英国创企DeepMind。这个创企,大家早已知晓,就是2016年打败人类围棋冠军的阿尔法狗团队。谷歌是人工智能领域的技术霸主,阿尔法狗团队又知名世界,他们可不象乌克兰那样好摆弄。

第二期 从美国人工智能两项关键技术的突破,看值得我们借鉴的经验

可微软也是这个领域里的技术枭雄,他想得到的东西,绝不会轻言放弃。于是,三者之间,上演了一幕幕恩怨情仇。

第二期 从美国人工智能两项关键技术的突破,看值得我们借鉴的经验 第二期 从美国人工智能两项关键技术的突破,看值得我们借鉴的经验

OpenAI成立于2015年,由特斯拉CEO埃隆·马斯克、PayPal联合创始人彼得·蒂尔、Linkedin创始人里德·霍夫曼、创业孵化器Y Combinator总裁阿尔特曼(Sam Altman)等人出资10亿美元创立。OpenAI起初是一个非营利组织,旨在开发通用人工智能(AGI),造福人类。资本家哪有不想赢利的,有了一些基础之后,OpenAI公司于2019年成立子公司OpenAI LP,目标是盈利和商业化,并引入了微软的10亿美元投资。

在 GPT 出现之前,已经有了NLP 模型。NLP属于小模型,主要是基于针对特定任务的数据进行训练。这会导致一些限制:大规模高质量的标注数据不易获得;模型仅限于所接受的训练,泛化能力不足;无法执行开箱即用的任务,限制了模型的落地应用。OpenAI为了克服这些问题,从乌克兰大语言模型公司引进人才,走上了预训练大模型的道路,于2018年,推出了第一代生成式预训练模型GPT-1。

GPT的名字中包含了大名鼎鼎的Transformer,这是由谷歌大脑团队在2017年的论文《Attention is all you need》中首次提出的模型。现在来看,这是人工智能发展的里程碑事件,它完全取代了以往的循环神经网络和卷积神经网络结构,先后在自然语言处理)、计算机视觉领域取得了惊人的效果,是当时最先进的大语言模型。谷歌公开了模型架构,任何人都可以用其搭建类似架构的模型,并结合自己手上的数据进行训练。

特斯拉自动驾驶模型,以及本文的主角OpenAI的GPT,都是在Transformer的基础上构建的。正如它的中文名字一样——变形金刚。

2018年,OpenAI推出的1.17亿参数的GPT-1,与谷歌推出的3亿参数的BERT,展开了一场较量。

早发布的GPT-1赢了初代Transformer,但输给了晚4个月发布的BERT,而且是完败。在当时的竞赛排行榜上,阅读理解领域的各项性能已经被BERT霸榜。

OpenAI没有气馁,继续改进,可腰包里的银子已经所剩无几。一分钱难倒英雄汉,OpenAI只得四处筹资。就在这困难的时刻,微软投资100亿美金,让其继续研发。从这里就可以看出,比尔盖茨的眼光是多么的毒道。

OpenAI于2019年推出GPT-2。它与GPT-1并没有本质上的不同,仅是采用了更大的数据集,为模型添加了更多参数(达到惊人的 15 亿个参数),可以说是加强版或臃肿版的GPT-1。

不料,臃肿的GPT-2,越喂数据越笨拙,性能直线下降,看来比尔盖茨的100亿美元要打水漂了。

谷歌BERT研究团队也遇到了同样的陷阱。

就在这至暗时刻,OpenAI公司的CEO,从一堆快要扬弃的沙子里,看到了金子。

这堆沙子,就是谷歌收购的阿尔法狗研究团队。

新的问题又来了,当年如日中天的阿尔法团队,怎么会变成一堆被人快要扬弃的沙子呢?

阿尔法狗研究团队在一次次刷新人类纪录的表面风光之后,给他的公司DeepMind带来的是严重亏损,公司管理层只好将其出售。当时想收购他的有两个巨头,一个是脸书,另一个就是谷歌。DeepMind公司的管理层凭其声望,提出了两个前提条件,一是公司必须留在英国,因为英国的科创氛围更浓;二是英国科创公司的科研文化更自由。很多英国科创公司的研究团队,不是实行家长式的领导,而是实行决策投票制;团队领导人只是召集人,决策、考核人人投票,说出各人的理由,公司领导凭多数人的意见和理由决策。英国是著名的创新型国家,谷歌没有理由不同意;于是,在2014年1月,谷歌以4亿英镑收购了DeepMind公司。

被收购的DeepMind公司,也不负谷歌所望,发明了一系列人工智能方面的新技术,被谷歌所用,但他们所热衷的、也是唯一的产品——智能游戏,却让公司年年亏损。

虽然亏损,但DeepMind所开发的智能游戏,其技术都处于行业领先水平,比如学习3D空间技术、大型数据模型的训练技术。特别是开发团队发现的数据模型训练过程中的U型现象,成为了一颗金子。可惜谷歌公司没有发现它的价值,让其破产。

第二期 从美国人工智能两项关键技术的突破,看值得我们借鉴的经验

DeepMind公司开发的57款雅达利游戏

这就为OpenAI公司提供了难逢的机遇,他们将DeepMind公司里的59名研究人才招纳旗下,顺利的越过U型陷阱,推出了性能优越的GPT-3。

GPT-3的体量空前庞大,拥有超过 1750 亿个参数,是GPT-2的 117 倍;另外,GPT-3不需要人工指点,就可以识别到数据中隐藏的含义,运用获得的知识,提出解决的方案;这使得GPT-3成为2020年AI领域最惊艳的模型之一。最让微软开心的是,GPT-3具有了商业应用的价值。当然,GPT-3也有一些不完善的地方,OpenAI公司接着推出了GPT-3.5、GPT-4。

OpenAI公司由此蹿红,ChatGPT发布第五天,就积累了100万用户,这是脸书花了10个月才达到的成绩;发布两个月,ChatGPT突破了1亿用户,对此TikTok用了大约九个月,Instagram用了两年多。

谷歌公司自己发明的技术,却让对手所用;跟悲哀的是,GPT-4让其陷入快要破产的境地。

从OpenAI公司的成功之路,我们可以提炼出三条借鉴的经验:

1、研究底层技术,需要投入大量的资金,不管是政府还是大型公司,都要有战略眼光,敢于投资。

2、独辟蹊径,招揽人才。OpenAI公司的CEO无疑是一位智者。当然,我们国家也不乏这样的智士,歼10的总设计师宋文骢就是其中的一位。当年,他在美国对我封锁的情况下,出人意外的从以色列和英国购买到了三代机的多普勒雷达技术、飞控技术、航电技术和平显技术。

3、科技公司要有自由的科研文化。

后台-插件-广告管理-内容页尾部广告(手机)
标签:

评论留言

我要留言

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。