机器之心报道

机器之心编辑部

GPT-4 的能力什么档次？

1956 年，在达特茅斯学院召开的一个研讨会上，人工智能这一概念正式被提出。

之后这个词一直挑战着心理学家、哲学家和计算机科学家，因为它太难被定义了。1994 年，52 名心理学家联合发文试图捕捉它的本质。

随着时间的推移，研究者开始将注意力转移到特定领域的 AI 系统，如 2016 年 AlphaGo 挑战韩国冠军棋手大获全胜。之后，时间来到 20 世纪 90 年代末和 21 世纪初，研究者不满足于专用 AI，因此开发更通用的人工智能系统呼声越来越高。随之而来的是，通用人工智能 (AGI) 一词开始在 2000 年代初期流行起来。

最近一段时间，如大家所见，大型语言模型 (LLM) 走到聚光灯下，这些神经网络基于 Transformer 架构，并在大量文本数据集上训练而成。尤其是 OpenAI 最新发布的 GPT-4，更是展示了大型语言模型的通用性，在数学、文字、法律、医学等领域样样精通。

我们不禁会问，GPT-4 是迈向 AGI 的重要一步吗？

微软给出的答案是肯定的，在其最近发布的一篇论文中，他们阐述了这个观点。文中对 GPT-4 进行了全面评测。微软认为「鉴于 GPT-4 能力的广度和深度，我们相信它应该被合理视作一个通用人工智能（AGI）系统的早期（但仍不完整）版本。」

微软还表示，「本文的主要目标是对 GPT-4 的能力和局限性进行探索，我们相信 GPT-4 的智能标志着计算机科学及其他领域的真正范式转变。」

用于草图生成：GPT-4 还能与 Stable Diffusion 进行结合。下图为 3D 城市建模截图，输入提示有一条河流从左到右流淌、河的旁边建有金字塔的沙漠、屏幕底部有 4 个按钮，颜色分别为绿色、蓝色、棕色和红色。下面是生成结果：

你还能要求 GPT-4 用 ABC 记谱法生成和修改曲调：

还有解释一段伪代码：

数学能力

一直以来，大型语言模型的数学能力似乎一直不是很好。那么 GPT-4 在这方面表现如何呢？本文经过一系列评测，结果表明 GPT-4 相比以前的模型在数学方面有了质的飞越，但是离专家水平还差得很远，不具备数学研究的能力。

在与 ChatGPT 的对比中， GPT-4 成功的生成了解决方案，而 ChatGPT 生成了错误答案：

在 AP 问题上，GPT-4 vs ChatGPT 对比结果。GPT-4 使用了正确的方法，不过由于计算错误导致最终答案错误，而 ChatGPT 产生了一个不连贯的论点。

此外，本文还测试了 GPT-4 使用数学思维和技术来解决现实问题的能力：下图展示了 GPT-4 如何成功地为一个需要广泛跨学科知识的复杂系统构建合理的数学模型，而 ChatGPT 未能取得有意义的进展。

由于论文内容长达 154 页，本文只对评测结果进行了大量展示，想要了解更多内容，读者可以参考原论文。

最后附上论文目录：