·新系统在美国41个州和地区的律师资格考试中获得的分数，排名前10%左右。它还可以在SAT考试中获得1300分（满分1600分），在生物、微积分、宏观经济学、心理学、统计学和历史等先修课程高中考试中获得5分（满分5分）。

3月14日，ChatGPT的开发机构OpenAI正式发布其里程碑之作GPT-4。据介绍，GPT-4是一个多模态大模型（接受图像和文本输入，生成文本）。相比上一代的GPT-3，GPT-4可以更准确地解决难题，具有更广泛的常识和解决问题的能力：更具创造性和协作性；能够处理超过25000个单词的文本，允许长文内容创建、扩展对话以及文档搜索和分析等用例。

但是，GPT-4仍然有许多正在解决的局限性，例如社会偏见、幻觉和对抗性prompt（提示）。

《纽约时报》汇总了各方面专家第一时间对GPT-4的测试，得出了以下10个结论。（图片内中文为AI翻译）

1. 学会了更加精确

AI专家和风险投资公司Page One Ventures 的合伙人克里斯· 尼科尔森 （Chris Nicholson）告诉GPT-4，他会讲英语，但不懂西班牙语。他要求提供一份可以教他西班牙语基础知识的教学大纲，而机器人提供了一个详细且组织良好的教学大纲。它甚至提供了广泛的学习和记忆西班牙语单词的技巧，尽管并非所有建议都中肯。

尼科尔森向老版本的ChatGPT寻求类似帮助，该版本依赖于GPT-3.5。它也提供了教学大纲，但建议更笼统且帮助不大。

“它已经突破了精确方面的障碍。”尼科尔森说，“包含了更多事实，而且它们往往是正确的。”

2. 提高了准确性

当AI研究员兼职教授奥伦·埃齐奥尼（Oren Etzioni）第一次尝试GPT-4时，他问了一个直截了当的问题：“奥伦·埃齐奥尼和伊莱· 埃齐奥尼 （Eli Etzioni）之间有什么关系？”

埃齐奥尼说这是一项了不起的技能。 “要进行高质量的总结和比较，就必须对文本有一定程度的理解，并有能力表达这种理解。”他说， “那是一种高级形式的智力。”

6. 正在培养一种幽默感

埃齐奥尼要求新机器人提供“关于歌手麦当娜的新颖笑话”。这个回答让他印象深刻，也让他笑了。

Material Loan的梗可能来自麦当娜的知名歌曲《Material Girl》。

除了公式化的笑话之外，新的机器人仍然很难写出任何东西。但它比老版本稍微有趣一点。

7. 可以在一定程度上推理

埃齐奥尼给了新机器人一个谜题。

新系统似乎做出了适当的回应。但是答案没有考虑门的高度，这也可能会阻止坦克或汽车通过。老版本的ChatGPT更好地处理了这个问题，因为它认识到高度和宽度很重要。

OpenAI的首席执行官山姆·奥特曼（Sam Altman）表示，新的机器人可以做“一点点”推理。但它的推理能力在许多情况下都会崩溃。

8. 可以通过标准化考试

OpenAI表示，新系统在美国41个州和地区的律师资格考试中获得的分数，排名前10%左右。根据该公司的测试，它还可以在SAT考试中获得1300分（满分1600分），在生物、微积分、宏观经济学、心理学、统计学和历史等先修课程高中考试中获得5分（满分5分）。

而更早的版本未能通过律师资格考试，在大多数大学先修考试中的得分也没有那么高。

9. 不擅长讨论未来

尽管新机器人似乎可以对已经发生的事情进行推理，但当被要求对未来做出假设时，它就不那么熟练了。它似乎借鉴了其他人所说的话，而不是进行新的猜测。

当埃齐奥尼问新机器人，“NLP（自然语言处理）中需要解决的重要问题是什么？未来十年的研究？”它无法提出全新的想法。

10. 它仍然有“幻觉”

新机器人仍在编造东西，这个问题被称为“幻觉（hallucination）”，困扰着所有领先的聊天机器人。因为系统不了解什么是真什么是假，它们可能会生成完全错误的文本。

当被要求提供描述最新癌症研究的网站地址时，它有时会生成不存在的互联网地址。