选自AI Snake Oil

作者：Arvind Narayanan、Sayash Kapoor

机器之心编译

ChatGPT 代替程序员，是我们想多了？

在 OpenAI 发布 GPT-4 之后，一场有关「AI 取代人类劳动力」的讨论正变得越来越激烈。该模型的强大能力及其可能带来的潜在社会影响引发了很多人的担忧，马斯克、Bengio 等人甚至联名写了一封公开信，呼吁所有 AI 机构暂停训练比 GPT-4 更强的 AI 模型，为期至少 6 个月。

但另一方面，对于 GPT-4 能力的质疑也是此起彼伏。前几天，图灵奖得主 Yann LeCun 在一场辩论中直接指出，GPT 家族所采用的自回归路线存在天然的缺陷，继续往前走是没有前途的。

与此同时，一些研究者、从业者也表示，GPT-4 可能并没有 OpenAI 所展示的那么强大，尤其是在编程方面：它可能只是记住了之前的题目，OpenAI 用来测试该模型编程能力的题目可能早就存在于它的训练集中，这违反了机器学习的基本规则。另外，还有人指出，看到 GPT-4 在各种考试中名列前茅就判定 AI 将取代部分职业的想法是不严谨的，毕竟这些考试和人类的实际工作还是有差距的。

近期的一篇博客详细地阐述了上述想法。

问题一：训练数据污染

为了对 GPT-4 的编程能力进行基准测试，OpenAI 使用编程竞赛网站 Codeforces 上的问题对其进行了评估。令人惊讶的是，GPT-4 解决了 10/10 的 2021 年前的问题和 0/10 的近期 easy 类问题。要知道，GPT-4 的训练数据截止日期是 2021 年 9 月。这有力地表明该模型能够从其训练集中记住解决方案 —— 或者至少部分记住它们，这足以让它填补它不记得的东西。

GPT-4 确实令人兴奋，它可以通过多种方式解决专业人士的痛点，例如通过自动化，代替我们做简单、低风险但费力的任务。目前，专注于实现这些好处并降低语言模型的许多风险可能是更好的做法。

原文链接：

https://aisnakeoil.substack.com/p/gpt-4-and-professional-benchmarks