机器之心报道

机器之心编辑部

Yann LeCun 这个观点的确有些大胆。

「从现在起 5 年内，没有哪个头脑正常的人会使用自回归模型。」最近，图灵奖得主 Yann LeCun 给一场辩论做了个特别的开场。而他口中的自回归，正是当前爆红的 GPT 家族模型所依赖的学习范式。

自回归大型语言模型没有前途

在以上列举的三种学习范式中，Yann LeCun 重点将自监督学习拎了出来。

首先可以看到的是，自监督学习已经成为当前主流的学习范式，用 LeCun 的话说就是「Self-Supervised Learning has taken over the world」。近几年大火的文本、图像的理解和生成大模型大都采用了这种学习范式。

在自监督学习中，以 GPT 家族为代表的自回归大型语言模型（简称 AR-LLM）更是呈现越来越热门的趋势。这些模型的原理是根据上文或者下文来预测后一个 token（此处的 token 可以是单词，也可以是图像块或语音片段）。我们熟悉的 LLaMA (FAIR)、ChatGPT (OpenAI) 等模型都属于自回归模型。

但在 LeCun 看来，这类模型是没有前途的（Auto-Regressive LLMs are doomed）。因为它们虽然表现惊人，但很多问题难以解决，包括事实错误、逻辑错误、前后矛盾、推理有限、容易生成有害内容等。重要的是，这类模型并不了解这个世界底层的事实（underlying reality）。

LeCun 认为有前途的方向：世界模型

当前风头正劲的 GPT 类模型没有前途，那什么有前途呢？在 LeCun 看来，这个答案是：世界模型。

这些年来，LeCun 一直在强调，与人和动物相比，当前的这些大型语言模型在学习方面是非常低效的：一个从没有开过车的青少年可以在 20 小时之内学会驾驶，但最好的自动驾驶系统却需要数百万或数十亿的标记数据，或在虚拟环境中进行数百万次强化学习试验。即使费这么大力，它们也无法获得像人类一样可靠的驾驶能力。

基于这些问题，LeCun 提出了构建「世界」模型的想法，并在一篇题为《A path towards autonomous machine intelligence》的论文中进行了详细阐述。

具体来说，他想要构建一个能够进行推理和规划的认知架构。这个架构由 6 个独立的模块组成：

这些模块的具体信息可以参见机器之心之前的文章《图灵奖获得者 Yann LeCun：未来几十年 AI 研究的最大挑战是「预测世界模型」》。

Yann LeCun 还在 PPT 中阐述了之前论文里提到的一些细节。

如何构建、训练世界模型？

在 LeCun 看来，未来几十年阻碍人工智能发展的真正障碍是为世界模型设计架构以及训练范式。

训练世界模型是自监督学习（SSL）中的一个典型例子，其基本思想是模式补全。对未来输入（或暂时未观察到的输入）的预测是模式补全的一个特例。