3.16

知识分子

The Intellectual

撰文|李梅 黄楠

● 　● 　●

昨天，多模态大模型 GPT-4 震撼登场！

GPT-4 能够接受图像和文本输入，输出文本，在各项测试和基准上的表现已经与人类水平相当。

OpenAI 一次性大放送，发布了 GPT-4 的技术报告、system card，并提供了 ChatGPT Plus 体验、GPT-4 的 API waitlist、demo 视频，以及用于自动评估 AI 模型性能的 OpenAI Eval 框架。

OpenAI还宣称， GPT-4在包括美国律师资格考试、美国高考SAT在内的多项专业考试中已经超过了绝大多数人类的水准。

公司CEO Sam Altman 称，GPT-4 是“我们迄今为止最强大、对齐最好的模型”。

GPT-4

同时，GPT-4 对指令的理解能力更佳：

（图片来源：知乎网友：@连诗路）

此次更新中，GPT-4 最令人惊喜的能力，是它可接受图片输入，并对图片生成说明、分类和分析。比如输入一张有鸡蛋、面粉和牛奶的图片，询问 GPT-4 可以使用这些原材料做什么，得到的结果如下：

据了解，OpenAI 于去年 8 月就已经完成了 GPT-4 的训练，我们与 OpenAI 的差距似乎更大了。

与 ChatGPT 相同的技术路线

在技术层面，一句话概括，GPT-4 是一个 Transformer 模型，使用公开可用的数据（如互联网数据）和第三方提供商许可的数据进行预训练，预测文本中的下一个 token，然后使用 RLHF（来自人类反馈的强化学习）对模型进行微调。

在一份98页的技术报告中，OpenAI 报告了 GPT-4 的性能、局限性和安全特性，但并没有公开有关架构（包括模型参数量）、硬件、训练计算、数据集构建、训练方法等内容的更多细节。

OpenAI 声称是“鉴于竞争格局和 GPT-4 等大规模模型的安全性影响”。

关于GPT-4的参数量，此前OpenAI的CEO Sam Altman表示，GPT-4不会比GPT-3高出太多，但大家关于GPT-4拥有极大参数量的猜测仍有很多。

对此，UCL 计算机系教授、上海数字大脑研究院院长汪军认为，大力确实出奇迹，此前 ChatGPT 的语言能力很强，有一定的逻辑推理能力，但它并未真正理解数据里面的内容，它只是在原来的训练数据中、搭料能力很强，因此是具有一定局限性的，在训练里一定要加上它对整个世界的理解。举个简单的例子，以下棋为例，如果你给它所有人类的下棋数据能力，比如说2000分以下所有人的数据，如果模型只模仿人的话，那么它是模仿不出比这2000分更高的智能的。

角色扮演

在 Explain My Answer 中，学习者通过在某些练习类型之后点击一个按钮，可以进入与 Duo 的聊天获得答案解释，并要求举例或进一步说明；Roleplay 功能允许学习者与应用程序中的角色进行对话，角色覆盖多个真实场景，包括在巴黎的咖啡馆点咖啡、邀请朋友一起旅行、未来的假期计划等。

参考链接：

https://openai.com/product/gpt-4

https://openai.com/contributions/gpt-4