编辑：桃子 好困

论文作者「官方打假」来了！

前段时间，GPT-4通过MIT数学本科考试，甚至拿了接近满分成绩引众多网友围观。

然而，这篇论文刚发布，就被同校学生爆出「数据集」有问题，结果并不准确。

没想到，爆料一出，AI界大佬LeCun、马库斯等纷纷出来发声。

今天，来自MIT的论文作者正式给出了解释。

在解决这个问题的过程中，我们发现，与Iddo Drori向我们和收集数据的学生传达的相反，Iddo没有得到所有导师的许可来收集构成论文主题的作业和考试题的数据集。

当论文在社交媒体上出现，并且Iddo未经任何人许可在网上发布数据样本时，一些课程导师才了解到这个数据集的存在，以及他们的课程材料被纳入其中。

这些都是正在通过机构渠道进行处理严重的问题，因此我们没有轻率地在公开场合对此进行声明，但我们认为解释为什么这篇论文不应该被发表并且必须被撤回是很重要的。

我们已要求Iddo从arXiv上撤回论文，并直接联系了arXiv，解释了这个情况。

我们想强调的是，在这篇论文中，所有学生作者都非常努力地工作，如果数据是经过同意收集的话，这篇本来可能是非常有趣和有价值的论文。已发表的论文的许多问题并不是学生的过错。

而且，GPT-4不能获得麻省理工学院学位。

网友：怕不是甩锅吧

对于这份声明，LeCun转发点评道，「感谢澄清」。

不过，有网友指出，这篇论文的问题并不在于有没有「同意」发表，而是在于「方法」本身。

而现在看起来是，这些作者希望自己的名字出现在这篇可能会爆火的论文上，但又不希望承担出错之后的责任。

如果论文并没有被人「打假」，那么也不会有这篇所谓的「公开声明」——迫使其中一些作者与论文割席。

显然，作为论文的共同作者，你必须对你署名的工作质量负责。

文章地址：http://ijcai-16-pc.blogspot.com/2016/04/the-increasing-practice-of-expanding-co.html

就在接收名单发送后的第二天，我们发现，有人试图向他们已被接受的论文里添加额外的合作者。

我理解有时在论文提交后，可能会从同事那里得到非常重要的帮助，我们自己的研究组也偶尔这样做。但突然有50多篇论文都需要，就有些奇怪了。

更令人惊讶的是，其中有很多人发现，他们不仅有一位被遗忘的合作者，而是有「多位」（有时多达4个）被遗忘的合作者。

显然，谚语「成功有很多父母，而失败则无人问津」在这里得到了充分的体现。

不过，我们在审稿期间每周都会备份截图，所以知道所有论文的原始作者。（这也是最终在接收名单上所呈现的）。

GPT-4攻破MIT考试

GPT-4在MIT考试中开挂这个结果一经公布，吸引了众多目光。

同样的测试，GPT-3.5搞定三分之一，而GPT-4全拿下了。

这张图表，便成为论文中最亮眼的那一部分。

而具体调优过程，如结果图中所示，包括Few-shot CoT Self-critique Experts。

每增加一个调优环节，GPT-4的能力也就跃升一步。

而这篇研究当时有争议的地方，就在于让GPT-4给自己打分。

研究团队在数据集上，微调GPT-4，给定问题Q，基准解S，和LLM的答案A，便使用GPT-4自动对模型响应进行了评分。

三位共同作者

Tonio Buonassisi是麻省理工学院的机械工程教授。他的研究主要集中在太阳能光伏和技术经济分析领域，在许多公司的技术发展中发挥了重要作用，因此获得了美国总统早期科学家和工程师奖（PECASE）、美国国家科学基金会职业奖（CAREER Award）和谷歌教师奖。

在MIT，Tonio Buonassisi是可持续发展加速材料实验室的负责人，领导可持续材料开发的研究工作。他还曾担任新加坡加速材料制造计划的创始主任。此外，他还共同创办了初创公司Xinterra以及非营利性组织Fraunhofer可持续能源系统中心。

Tonio Buonassisi在教育方面展现出了极高的热情和才能。他曾荣获麻省理工学院Everett Moore Baker杰出本科教学奖，他的教学影响不仅局限于课堂，还通过其OpenCourseware/YouTube光伏讲座系列获得了超过179,000次观看。他最近还制作了一系列名为「加速材料制造」的YouTube视频，重点关注人工智能在材料研究中的应用。

Yoon Kim是麻省理工学院（EECS/CSAIL）的助理教授。之前在哈佛大学获得计算机科学博士学位，导师是Alexander Rush。

他的研究兴趣包括：大规模模型的高效训练和部署、理解大语言模型的能力和限制、用符号机制控制和增强神经网络、计算和人类语言处理之间的联系。

变了味的研究

现在，GPT-4可以说是已经被推崇成了LLM领域的全新「基准」。

这种趋势一方面在迫使研究人员将自己的工作与其进行比较，另一方面又催生了相当一部分只为跟风和炒作的研究。

不仅如此，OpenAI在GPT-4技术报告中开创的「黑盒」方法，也被其他人纷纷效仿。

在HackerNews的讨论中，一位用户表示，机器学习已经不再是一个科学领域，而是变得像社会科学一样，建立在另一种不可证伪和不可重现的研究之上。

有媒体称，这次事件无疑是在人工智能领域树立了一个糟糕的先例，让大家对研究的真实性产生了质疑——互联网上有多少论文实际上是有问题的？

随着「基准」GPT-4开始涉足文章的撰写阶段，论文的质量预计还会有进一步下降。

参考资料：

https://people.csail.mit.edu/asolar/CoursesPaperStatement.pdf