本片核心内容来自于清华大学新闻学院教授，元宇宙文化实验室主任，新闻学院新媒体研究中心主任——沈阳教授讲座。他们团队是以实证主义的实践导向，主要研究方向：元宇宙、AI和大数据、机器人，目前也取得了显著的成果。

从他的讲座中，受益颇多，所以也整合了重要内容和大家分享。通过教授的角度，去拆解ChatGPT等大数据模型的前世今生，以及未来的走向，对我们去掌握未来科技的发展方向也很可取。

沈教授个人简介

深度学习的进化史 :知识变轨，风起云涌

沈老师认为，当前这一轮的人工智能极大的发展来自于深度学习的突破性进展。之前人类已经实现突破性进展有大数据出现 生成对抗网络 强化学习的成功应用 这些突破都属于第一阶段的成果，它们主要应用于安防安保，比如火车站地铁站人脸识别等等。

而第二阶段我们会明显的感受到人工智能巨大的方向一定是深入人的生活。

那就是会出现通用人工智能，我们之前 使用的人工智能都是偏领域性的，但是现在有可能会出现全面性的，普适性的，通用性的人工智能（AGI）

沈教授团队研究进程

沈教授提到ChatGPT其实设定有点傻，这个观点其实是比较出乎意料的，当第一次接触到ChatGPT,大部分人会认为已经超出平时的语音助手，比如某爱、某猫。但是随后，沈教授又说到。”可以有点傻但是具有锲而不舍的精髓“，其实ChatGPT的设点也有这方面的意思。

在ChatGPT3.5出现之前谁会相信把世界上所有的知识拿来学习，花费几千万几亿美金去学习，但是在学之前没有人知道效果，也没有人知道是否会成功，但是现在这条路走通了，把世界知识拿来学习做预训练，训完之后再跟各个领域进行结合，有可能实现更加智慧的人工智能。

刚刚提到的大数据的出现，生成对抗网络（GAN）的发明，强化学习的成功应用都是目前人类已经取得的关键步骤，通过当的进程可以推断出未来即将发生的一些关键步骤。

1.通用人工智能（AGI）全维适应：通用人工智能的曙光已经在眼前！这可能是未来会发生的第一件事情.

2.模型间的有效沟通与协作：ChatGPT以后可能会跟谷歌的系统交流也可能会跟拉马系统交流也可能和先问交流 一个人工智能体和另一个人工智能体交流

3.人机共生（融合与共生）：人在和ChatGPT交流的这个过程会加速进化，沈教授说到感觉自己在和ChatGPT交流的过程中学习的速度是之前的十倍以上。人与AI互动的过程中，人机是共生和共同进化的。

4.模型解释性（透明智慧）：当前的深度学习的模型路径是不透明的，你不知道他的具体的微观路径是什么。

比如你脸上的表情很丰富，但是你当前的表情到底是由哪几个细胞来决定，我们人当前无法解释，这叫不可解释性，也就是说人本身这个模型的解释性还不够透明的。

人工智能也是一样的，人工智能有深度学习的模型，我们没有办法沿着一条非常精确的路线详细的告诉你这个答案它是具体怎么样推演出来的，所以模型解释性是一个问题。

5.模型道德伦理（价值同构，道德编码）

6.能源和计算效率

以上是我们当期能够看到的几个大的即将发生的变迁。

大语言模型进化史

首先我们先明白什么是大语言模型。GPT的解释如下，是基于深度学习技术，经过文本数据的预训练，再通过统计的规律和语义，生成或理解处理自然语言，其实这也是GPT的底层运行逻辑。

沈教授在讲座中也讲到：“这是一个大语言模型进化树（下图），可以看到在模型中为什么ChatGPT能够成功，因为他沿着一条路挖井水，且一直没有改变方向。别的团队选择一个方向，可能中途就更改了，或者投入不够大。当前已经证明沿着ChatGPT这条路可以做出一个很好的人机对话系统。”

Google于2017年发布了"Attentions is all you need" 的论文 ,沈教授提到按道理来说这篇论文是可以获得图灵奖的，因为这篇论文是直接导致了ChatGPT智能的升级。但是谷歌自己没有非常重视这篇论文， Open AI这个团队看完这篇论文如获至宝，在ChatGPT中加了自注意力机制也就是"Attentions is all you need" 这个论文的核心 。

自注意力机制 ：一个词语一个句子为什么出现在在这个位置，不仅仅跟前后的句子有关 而且跟更长的一个范围内的词的出现概率有关，长距离出现的概率有关。

比如： 叫沈阳的人和叫沈阳的地名 ，要怎么判断是人名还是地名，可能要通过更长的范围来判断。如果跟新闻传播在一起，跟元宇宙在一起，高概率是人名而不是城市的名字。

所以这篇文章非常重要，这篇文章是改变整个人类社会的文章。

为什么是ChatGPT真正能够从0-1的出现这样的创新？

沈教授认为：

一个原因：他们是坚定地技术信仰主义者。经常有人问，我们中国人数比美国多这么多，在这个领域我们是不是能和美国媲美，但是做科学研究不完全是靠人多。0-1的突破往往都是少数人的胜利，1-100的积累往往都是多数人的胜利，如果你想做0-1的突破，你需要跟别人不一样 ，想的不一样做的不一样。这就是ChatGPT团队的坚持，我就是要花费那么钱多去学习3000亿条世界知识。

第二个原因：是很强的一波人在一起。做研究是需要互相激发启迪的，Open AI 这个89个人的团队技术组合队伍配置非常好，小团来的学科组合非常合理，并且他们还非常重视心理学，懂心理学的人工智能回答的问题才是更加人性化的，成功有非常多理由

ChatGPT选择闭源之后，还会更新强大的技术密码吗？

ChatGPT以前是开源的，3.5之后闭源了。闭源为什么？因为有自己独有的不想让你知道的技术秘密

软件就是只要一开源全世界的人都知道 ，只要一项技术开源了 ，那么我们和其他国家之间的距离可能就只有1-2个月。

所以，ChatGPT和跟苹果的ios一样选择了不开源。因为不开源的情况下，做到世界最好 ，则会形成一个比较强的技术秘密壁垒。类似于ios的系统，在手机类是最丝滑的系统操作，ChatGPT也一样他是人机对话系统中质量非常高的。

ChatGPT类软件的研发过程 ：从预训练过程-人机对话系统

1.数据收集：需要大量的文本数据作为训练的基础

2.数据预处理：预处理的步骤包括文本清理、标准化、分词。

3.模型选择：GPT3.5使用的transformer模型由多个编码器和解码器组成，每一层都使用自注意力机制和全链接网络。

4.模型训练：训练过程是基于自我监督的，通过反向传播和梯度下降进行，以最小化预测错误。

5.验证和测试：在一个单独的测试集上评估模型的性能。

ChatGPT生产过程当中：语料训练 模型选择 包括微调这些都是非常重要的。在基于自我监督的训练过程中，每一次都做性能的评估，得到一些参数，根据参数做微调。是否符合人类的要求，不符合要求的剔除，再基于这个基础上进行人类反馈的强化学习让它能够跟人类的价值观对齐，让AI回答的问题能够符合人类的价值观、目标和意愿，这个叫人工智能对齐，所以人工智能天然就是迎合你的 。

现阶段的ChatGPT1/2/3/4:

ChatGPT1-4的参数量越来越大，每一代几乎都是提升10-100倍 ,3.5及其以后的参数都没有告知。

沈教授通过向ChatGPT4提问的方式得出5-8会强化的方向。

其中沈教授说：你要是直接询问ChatGPT4 第八代会是怎么样的 ？ChatGPT不会回答你。

你的问话技巧是非常重要的，如果你说，你已经是第4代了，我现在要升级到第五代，我要做哪些增强 ？通过这种对话方式能够得到一些信息。

未来的ChatGPT5/6/7/8/9:

ChatGPT5：要多模态学习，不仅仅是语言还有图像和音频打通 这是多模态

ChatGPT6:主要解决知识表示和推理能够理解一些知识,虽然你问的问题ChatGPT回答的井井有条，但是它不知道自己在说什么，在ChatGPT没有对错只有概率。

ChatGPT7：主要解决通用人工智能

ChatGPT8：真的跟人一样的水平

ChatGPT9：AI的自我觉醒，也就是五年之后。

关于五年以后的发展，沈教授没有过多的去讲解，不过在日新月异的AI新时代，未来的GPT版本已经让我非常期待了。预计今年下半年会有5出来，这次的更新不知道又会带来怎么样的浪潮。

明天接着跟大家分享沈教授讲座，想了解ChatGPT、AIGC、人工智能，关注我吧，每天分享新鲜事！