尽管有关 GPT-3的传说四起，但它本身并不是 AGI。

虽然在某些领域接近了人类能力(下棋或写作真的令人印象深刻) ，但它们好像做不出通用的智能，很多时候，GPT-3跟 AlphaGo 更像。

GPT-3(或者未来 GPT-x)在模仿人类方面表现的很不错，但它对过去的互动没有记忆，无法进行「多轮对话」，也无法跟踪目标或发挥更大的潜能。

然而，语言建模与国际象棋或图像分类有很大的区别。自然语言本质上是对世界的信息进行编码，其表达方式比任何其他方式都要丰富得多。

如果将语言模型嵌入到现有的AI模型，能否构建出原始的通用人工智能（AGI）呢？

语言模型的目标仅仅是最大化模型在自然语言数据上的可能性， GPT-3使用的自回归意味着它会尽可能地预测下一个单词。

通俗来讲，GPT-3更多地关注语法和拼写等文本差异，而不是语义和逻辑连贯性，而后者才是智能的关键，当自回归模型接近完美时，想要继续提升，唯一的途径就是语义理解和逻辑构建。

在极端情况下，任何一个模型，如果其损失达到自然语言的香侬熵，就会在任何方面与真正的人类作品完全无法区分，而且我们越接近它，损失的改善对质量的影响就越不容易察觉。

蒙特卡洛树搜索

每一个动作都可能是非常高级的，比如「找出买曲别针最便宜的方式」 ，但得益于语言的灵活性，我们可以用简短的token序列来描述非常复杂的想法。

一旦智能体决定了一个行动，为了实际执行这些抽象行动，这个行动可以使用语言模型分解成更小的子目标，比如「找出亚马逊上最便宜的曲别针」 ，类似于层次强化学习。

根据模型的能力和动作的抽象程度，甚至可以将动作分解成一个详细的指令列表。我们也可以将智能体的状态表示为自然语言。

由于智能体状态只是观测值的压缩表示，因此我们可以让语言模型对任何观测值的重要信息进行汇总，以表示其自身的内部世界状态。语言模型也可以用来周期性地删除(即忘记)状态中的信息，以便为更多的观测留出空间。

这样我们就能得到一个系统，它可以从外部世界传递观测信息，花一些时间思考该做什么，并用自然语言输出一个动作。

打头的是一个输入模块，可以将各种观测转换为与当前智能体状态相关的摘要文本。例如，网页、声音、图像都可以想办法转换为文本并映射到智能体的状态。

最后，为了让模型在现实世界真正发挥作用，可以再次使用语言模型将自然语言翻译成代码、 shell 命令、按键序列等许多可能的方式。

像输入一样，有无数种不同的方法来解决输出问题，哪一种方法是最好要看你的具体使用场景了，最重要的是，可以从纯文本智能体中获得各种形式的输入和输出。

一个输入模块的示例，该模块采用截图输入与当前智能体状态相结合的方式，将图片信息转换为智能体的观测。

上文所描述的，更像是一个思想实验，而不是明天将要发生的事情。

这种方法在很大程度上依赖于一个主要假设——更大的未来模型将具有更好的世界建模能力。然而，这可能是我们有史以来最接近AGI的机会：现在有了一条通往 AGI 的具体路径。

这个路径听上去不那么「扯淡」，未来能否实现让我们拭目以待。