1 对 ChatGPT 的巨大超越

在许多方面，GPT-4 都已经能做到之前 ChatGPT（GPT-3.5）所力不能及的事情。相比 ChatGPT，GPT-4 支持更长的输入，一次可接受 32768 个 token，相当于 50 页纸的内容，长篇学术论文可以直接丢给它去解读了。

图源知乎

GPT-4 跟 GPT-3.5 具有相同的 API 接口和交互界面，但在文本总结和加工能力上，GPT-4 有了明显的提升，这表现提出指令后，模型能更好地遵循指令给出答案。

例如让一篇文章变成一个句子，每个单词都以 G 开头，GPT-3.5 还未尝试就放弃了任务，但在 GPT-4 中可以很好地完成：

GPT-3.5

据了解，OpenAI 于去年 8 月就已经完成了 GPT-4 的训练，我们与 OpenAI 的差距似乎更大了。

2 与 ChatGPT 相同的技术路线

在技术层面，一句话概括，GPT-4 是一个 Transformer 模型，使用公开可用的数据（如互联网数据）和第三方提供商许可的数据进行预训练，预测文本中的下一个 token，然后使用 RLHF（来自人类反馈的强化学习）对模型进行微调。

在一份98页的技术报告中，OpenAI 报告了 GPT-4 的性能、局限性和安全特性，但并没有公开有关架构（包括模型参数量）、硬件、训练计算、数据集构建、训练方法等内容的更多细节。

OpenAI 声称是“鉴于竞争格局和 GPT-4 等大规模模型的安全性影响”。

关于GPT-4的参数量，此前OpenAI的CEO Sam Altman表示，GPT-4不会比GPT-3高出太多，但大家关于GPT-4拥有极大参数量的猜测仍有很多。

对此，UCL 计算机系教授、上海数字大脑研究院院长汪军认为，大力确实出奇迹，此前 ChatGPT 的语言能力很强，有一定的逻辑推理能力，但它并未真正理解数据里面的内容，它只是在原来的训练数据中、搭料能力很强，因此是具有一定局限性的，在训练里一定要加上它对整个世界的理解。举个简单的例子，以下棋为例，如果你给它所有人类的下棋数据能力，比如说2000分以下所有人的数据，如果模型只模仿人的话，那么它是模仿不出比这2000分更高的智能的。

贡献者名单

这里一共列出了7个组别：

预训练：计算集群规模化、数据、分布式训练基础设施、硬件正确性、优化&架构、训练保姆（Training run babysitting）

长文本：长文本研究、长文本 kernels

视觉：架构研究，计算集群规模化、分布式训练基础设施、硬件正确性、数据、对齐数据、训练保姆、部署&后训练

强化学习&对齐：数据集、数据基础设施、ChatML 格式化、模型安全性、Refusals、底层 RLHF 和 InstructGPT 工作、Flagship training runs、代码能力

评估&分析：OpenAI Evals 库、模型分级评估基础设施、加速预测（Acceleration forecasting）、ChatGPT 评估、能力评估、代码评估、真实世界使用案例评估、污染性调查、指令遵循和API评估、新奇能力发现、视觉评估、经济影响评估、非扩散&国际人道主义法与国家安全的有害行为评估、过度依赖分析、隐私和PII评估、安全和政策评估、OpenAI 对抗性测试、系统卡和更广泛影响分析

部署：界面研究、GPT-4 API 和 ChatML 部署、GPT-4 web 体验、界面基础设施、可靠性工程、信任与安全工程、信任与安全监测和响应、信任与安全政策、部署计算、产品管理

其他：发布博客和论文内容、协作、计算分配支持、协议&税务&定价&资金支持、午餐合作伙伴&产品操作、法律、安全与隐私工程、系统管理与随叫随到服务

另外，OpenAI 也对微软的支持表示了感谢，特别是微软 Azure 为 GPT-4 模型的训练提供了基础架构设计和管理方面的支持，另外还有微软Bing团队和安全团队在安全部署方面的支持。

对于 OpenAI 的追赶者来说，这份名单一定程度上指示了一个方向，值得仔细研究。它对于 AI 领域人才的潜在热门职业方向也有启示，比如模型训练“保姆”、新奇能力发现师、算法模型安全师、数据和模型污染调查师等等。

4 开启多模态大模型时代

GPT-4 开启了多模态大模型的时代，遗憾的是，OpenAI 这次并没有公布 GPT-4 在多模态方面的技术细节。

目前 GPT-4 还只是文本 图像输入、文本输出，可以预测文本 图像不久也将实现。ChatGPT 已经带火了 NLP，GPT-4 想必对于视觉领域的研究者们也是一大机遇，也或许是一次冲击。

不过，在多模态大模型中，自然语言仍被认为是核心。UCL 计算机系教授、上海数字大脑研究院院长汪军告诉 AI科技评论，Chat 构建了一个相对清晰的逻辑描述，它或许不是百分百严谨，但已经足够让我们去表达一些非常复杂的逻辑关系。

但他认为，这是一个 Free power，也即是说，它可以能把这个问题表述得很清晰、但这是表象，最主要的是 Chat 里面含载的语义关系，当其他多模态来了之后，匹配上相应的语义表达，就可以迁移到其他的模态当中。

在通过交互界面获取信息这一点上，ChatGPT 已经对用户完成了科普任务。GPT-4 出现后，Chat 将不再是大家关注的重点，GPT-4 能力的跃升正在引发大家思考 GPT 时代的产业变革将怎样发生。

在前维卓CTO 张烜看来，ChatGPT 背后的时代变化，是从信息时代 AI 向用户快速提供丰富的信息，到AI直接提供完整的知识体系。ChatGPT 的贡献是提供了一个便捷易用的交互界面，让普通人都能用得起来，功不可没，GPT-4 是在此基础上的再一次飞跃。

他认为，除了模型变得更大、更强以外，AI 技术本身的变化可能不显著，但从应用的角度看，新的时代已经到来。这个新时代便是知识体系和自动化的时代，AI 优化的目标是自动化地输出最终结果和完整的知识体系。

能够适应这种新形势的是以 RPA（Robotic process automation）为代表的自动流程化分发，但是目前的 RPA 起始于20年前，不适用于现在的媒体方式和交互内容，需要在文字、图像和视频化处理上加以改进，才能和 GPT 完美匹配。张烜对 AI科技评论透露，这是 GPT 影响产业的一个重要方式，也将是他接下来的创业方向。

目前，有一部分企业已经提前用上了 GPT-4，其中就包括了 Stripe、摩根士丹利和 Duolingo 等。

Stripe 团队列出了50个潜在应用程序来测试 GPT-4，经过审查和测试，当中有15个原型被认为是集成到平台中的有力候选者，包括支持定制、回答有关支持的问题和欺诈检测。

未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。