OpenAI最近宣布了他们的最新语言模型GPT-4，这是一个拥有1.8万亿个参数的神经网络巨人，比GPT-3大了10倍以上。GPT-4不仅在文本生成方面表现出惊人的能力，还能处理多模态视觉任务，如图像和视频的理解和转录。GPT-4的架构、基础设施、训练数据集、成本、愿景和专家混合（MoE）等方面的细节一直被OpenAI保密，但我们从多个来源收集了一些信息，并在这篇文章中与大家分享。我们将从以下几个方面来分析GPT-4的特点和创新：

训练数据集

GPT-4在约13T令牌上进行训练。这些不是唯一的令牌，它们也将纪元视为更多令牌。基于文本的数据为2个纪元，基于代码的数据为4个纪元。数据集包括CommonCrawl和RefinedWeb等公开来源，以及Twitter、Reddit、YouTube、LibGen、Sci-Hub、GitHub等私有来源。数据集的组成如下表所示：

数据源

令牌数量（T）

纪元数

CommonCrawl

5

2

RefinedWeb

5

2

Twitter

0.5

2

Reddit

0.5

2

YouTube

0.5

4

LibGen

0.5

2

Sci-Hub

0.5

2

GitHub

0.5

4

其他

0.5

-

视觉

GPT-4不仅是一个文本模型，还是一个多模态视觉模型，能够处理图像和视频的理解和转录。它是与文本编码器分开的视觉编码器，具有交叉注意力。该架构类似于Flamingo。这在GPT-4的1.8T之上增加了更多参数。在仅进行文本预训练之后，它又使用约2万亿个令牌进行了微调1。这种视觉功能的主要目的之一是让自主代理能够阅读网页并转录图像和视频中的内容1。他们训练的一些数据是联合数据（渲染的LaTeX/文本）、网页屏幕截图、YouTube视频：采样帧，并围绕它运行Whisper以获得转录本。

MoE

专家混合（MoE）是一种将模型分解为多个专家子模型的方法，每个专家子模型只处理输入的一部分，从而降低计算和内存开销。MoE模型的优点是可以大幅提高模型的规模和效率，同时保持较低的训练成本。MoE模型的缺点是推理时利用率较低，因为并非每次生成一个令牌时都会使用模型的所有部分。这意味着当其他部件正在使用时，部件可能会处于休眠状态。在服务用户时，这确实会损害利用率。

OpenAI通过利用MoE模型能够将GPT-4的成本保持在合理水平。他们在模型中使用了16位专家，每个专家大约有111B个MLP参数。每个前向传递都会路由其中2名专家。虽然文献中大量讨论了用于选择将每个代币路由到哪些专家的高级路由算法，但据称对于当前的GPT-4模型来说，OpenAI的算法相当简单。

研究人员表明，使用64到128名专家比使用16名专家可以实现更好的损失，但这纯粹是研究结果。选择较少的专家有多种原因。OpenAI选择16名专家的原因之一是因为更多的专家很难在许多任务上进行泛化。更多的专家也可能更难以实现收敛。面对如此大规模的训练，OpenAI相反选择在专家数量上更加保守。

总结

GPT-4是一个拥有1.8万亿个参数的神经网络巨人，比GPT-3大了10倍以上。GPT-4不仅在文本生成方面表现出惊人的能力，还能处理多模态视觉任务，如图像和视频的理解和转录。GPT-4采用了专家混合（MoE）模型，这是一种将模型分解为多个专家子模型的方法，每个专家子模型只处理输入的一部分，从而降低计算和内存开销。GPT-4还使用了多查询注意力（MQA）、张量并行和管道并行等技术来提高模型的效率和规模。GPT-4在约13T令牌上进行训练，其中包括公开和私有的文本、图像和视频数据。GPT-4还拥有一个与文本编码器分开的视觉编码器，能够处理多模态视觉任务，如图像和视频的理解和转录。

GPT-4是一个令人惊叹的语言模型，它展示了神经网络的强大能力和潜力。它也是一个极具挑战性的工程项目，它涉及了许多复杂的权衡和创新。GPT-4的架构、基础设施、训练数据集、成本、愿景和专家混合等方面的细节一直被OpenAI保密，但我们从多个来源收集了一些信息，并在这篇文章中与大家分享。我们希望这篇文章能够帮助大家更好地理解GPT-4的特点和创新，以及它对人工智能领域的影响和意义。