读此文之前，麻烦您动动发财的小手，点击一下“关注“，既方便您进行讨论和分享，又能给您带来不一样的参与感，本人在今日头条所发作品皆为原创首发，未发布其他任何平台，请勿搬运抄袭，违者必追究版权责任。

导语：

近期，对于GPT-4的架构与成本等问题引起了广泛的好奇。尽管OpenAI保持了沉默，然而「天才黑客」乔治・霍兹在接受一家名为Latent Space的AI技术播客采访时，曝光了一些备受期待的细节。

然而，就在不久之前，一则令人振奋的消息传出，似乎为这些疑问提供了一些线索。

据称，来自「天才黑客」乔治・霍兹的消息透露，GPT-4可能是由多个专家模型组成的复杂集成系统。每个专家模型拥有2200亿个参数，相比于前代GPT-3的1750亿参数，这个数量稍微有所增加。这些模型经过了分布式训练，针对不同的数据和任务，从而使得GPT-4在多个领域都能展现出强大的表现。

这主要源于GPT-4需要更大规模的计算集群，并且其利用率相对较低。然而，即便如此，GPT-4在推理过程中的表现仍然令人惊叹，展现出其强大的计算能力。

在这一报道中，对于GPT-4的各个方面进行了深入的探讨，无疑为我们提供了更全面的认识。然而，也有人对GPT-4的一些设计决策提出了质疑。例如，在使用专家混合模型时所涉及的权衡问题，以及推测式解码技术是否会影响模型质量等等。

虽然其是否在GPT-4中得到了应用尚未确定，但这种技术对于加速推理过程，同时保持高质量输出具有一定的吸引力。然而，也有人提出对于这种技术的一些担忧，认为可能会影响模型的质量。这种争论无疑会进一步激发人们对于推测式解码技术的研究兴趣，以及其在实际应用中的影响。

总的来说，GPT-4作为一个新一代的语言模型，在其架构和性能方面都呈现出了令人瞩目的特点。虽然报道中提供的信息尚未得到官方确认，但这些细节的揭示无疑为我们提供了一个更加深入的了解。