GPT-3 取得这样的能力也有着巨大的代价，也恐怕只有财力雄厚的 OpenAI 能够支持：它的训练过程使用了超过1750亿参数，是其它已知的非稀疏语言模型的十倍。

NeurIPS 2020 组委会在评语中写道：当语言模型的参数提升到如此前所未有的规模时，它能够成为小样本学习模型，而且竟然还可以在无需额外训练的基础上，在很多任务上取得非常有竞争力的成绩。

对于这篇论文在人工智能研究之于社会影响方面的探讨，组委会也是赞不绝口。评语写道：这篇论文对于其研究更广泛的影响也进行了非常深入和有深思熟虑的阐述，对于整个 NeurIPS 社区在思考科研对于真实世界的影响提供了一份范例。

NeurIPS 2020 组委会甚至有点预告 GPT-3 在十年后很有可能获得时间检验奖（Test of Time Award, 地位等于其它学术会议的经典论文奖）的意思。它的评语是这样写的：（GPT-3取得的）结果非常令人惊讶，将会在相关领域内造成深远的影响，并且有可能经受住时间的考验。

另外两篇最佳论文奖得主：

这篇米兰理工大学和卡内基梅隆大学研究者的机器学习论文，解决的是一个对于现实世界特别有意义的问题：如何在社会活动中更好地找到均衡。更准确来说，这种均衡叫做“相关均衡”(correlated equilibrium)，比人们更经常听说的“纳什均衡”对于社会更有帮助，而且用机器学习的方式更容易计算出来。

而这篇论文提出的结果，解决了博弈论、计算机科学和经济学交界的一个长期存在的问题，对于诸如导航软件路线规划等涉及到博弈论的应用场景，都会有很大的帮助。

在机器学习的过程中，数据总结是一项重要的工作，但在过去很长时间以来，人们往往认为从越来越大的数据集中提取小且又代表性的子集作为数据总结，是一件很难的事情。而这篇来自UC伯克利的论文指出更优秀的数据总结方法是存在的，对于机器学习研究者可以说是期待已久的福音。

NeurIPS 2020 时间检验奖：

梯度下降是机器学习范畴内的和新方法，而随机梯度下降 (stochastic gradient descent) 是机器学习的关键算法之一。为了优化机器学习模型，以前的研究者需要并行运行随机梯度下降算法，但当时同行提出的一些方法都对于性能有明显影响。

由华人第一作者 Feng Niu 等人在 NIPS 2011 上发表这篇论文，提出了一种全新的并行运行随机梯度下降的 HOGWILD!: 方法，在同行方法上有较大的创新，对于机器学习训练的优化带来了很大的帮助，显著影响了后来的机器学习研究。

通过比较历史引用、近期引用数量，以及召集本届组委会的高级专家投票，Feng Niu 等人的这篇论文，从2009-2011年的12篇 NIPS 论文中脱颖而出，获得了今年 NeurIPS 的时间检验奖。

硅星人：（ID：guixingren123）

从科技到文化，从深度到段子，硅星人为你讲述关于硅谷的一切。