越来越多的测试表明，人工智能系统能够像我们的大脑一样，建立起自己对现实世界的理解，虽然它们的方法有点奇怪。

这些大型模型依赖于一种叫做神经网络的机器学习系统。这种网络的结构模仿了人脑中相互连接的神经元。这些程序的代码很简单。它们就是一个自动纠错算法，根据对大量互联网文本的统计分析，选择最合适的词来完成一段话。再加上一些训练，就能让它们以对话的形式回答问题。从这个意义上说，它们只是在复述它们学到的东西，就像鹦鹉一样。

但是它们也能做一些令人惊叹的事情，比如通过律师考试，用诗歌解释希格斯玻色子，或者试图破坏他们用户的婚姻。没人想到一个简单的自动纠错算法会有这么多本事。

研究人员对 GPT 和其他人工智能系统的超能力感到惊讶，这些系统能够做一些他们没有受过训练的任务。他们还举了一些这些任务的例子，比如编写和执行计算机代码，以及计算斐波那契数列。

蒙特利尔大学的人工智能研究员 Yoshua Bengio 说：“它肯定不仅仅是一个随机说话的鹦鹉，它肯定建立了一些对世界的认识——尽管我不认为它和人类建立大脑内部世界模型的方式完全一样。”

LLM 虽然运行在计算机上，但它们本身并不是计算机。它们缺乏一些基本的计算元素，比如工作内存。GPT 的发明者，科技公司 OpenAI，承认 GPT 本身不应该能够运行代码，但其实它可以运行代码。开发人员猜测，机器是通过利用它根据上下文解释单词的机制，临时创造了一个内存来运行代码。这种情况类似于自然界如何将现有的能力用于新的功能。

这种即兴的能力表明，LLM 拥有一种超越浅层统计分析的内部复杂性。研究人员发现，这些系统似乎能够真正理解它们学到的东西。

研究人员还通过与聊天机器人玩游戏，在代码内插入探针，来测试聊天机器人的想法，就像医生在患者脑部插入探针来测试大脑神经一样。

在一款文字冒险游戏中。研究人员输入了一些句子，比如“钥匙在宝箱里”，然后是“你拿走了钥匙”。使用探针，他们发现模型在自身编码了对应于“箱子”和“你”的变量，每个变量都有拥有或不拥有钥匙的属性，并且逐句更新这些变量。模型没有独立的方式知道什么是盒子或钥匙，但它却捕捉到了完成这个任务所需的概念。“模型内部隐藏着一些状态的表示，”研究人员说。

另外，这些模型还能够从互联网文本中获得颜色描述，并构建内部颜色表示。当它们看到“红色”这个词时，它们不仅将其作为一个抽象符号处理，而且将其作为一个与栗色、深红色、紫红色、锈色等有一定关系的概念处理。

证明这一点有些棘手。研究人员并没有将探针插入模型，而是研究了它对一系列文本提示的反应。为了检查它是否只是从在线参考中获得颜色关系，他们试图通过告诉它红色实际上是绿色来误导系统——就像旧的哲学思想实验，一个人的红色是另一个人的绿色。系统并没有回答一个错误的答案，而是适当地改变了它的颜色评估，以保持正确的关系。

除了提取语言的潜在含义，LLM还能够即时学习。在AI领域，术语“学习”通常是指开发人员将神经网络暴露于数十亿字节的数据并调整其内部连接的密集型计算过程。当你在ChatGPT中输入一个查询时，模型应该是固定的；与人类不同，它不应该继续学习。但是令人惊讶的是，LLM实际上确实从用户的提示中学习——这种能力被称为“上下文学习”。

另一种上下文学习是通过“思维链”提示发生的，这意味着要求模型阐述其推理的每一步——这是一种让它在需要多步骤的逻辑或算术问题上做得更好的技巧。

这种上下文学习遵循与标准学习相同的基本计算过程，称为梯度下降。系统在没有帮助的情况下发现了它。谷歌研究院副总裁Blaise Agüera y Arcas认为LLM可能还有其他没有被发现的潜在能力。“每次我们测试一种我们可以量化的新能力，我们都能找到它，”他说。

尽管LLM有很多盲点，还不足以达到人工通用智能或AGI的标准，但这些新出现的能力让一些研究人员认为，人工智能离AGI更近了。