机器之心报道

编辑：蛋酱、杜伟、小舟

是时候重新审视这个「无所不能的」模型了！

GPT-3，「出道即巅峰」界的代表。

2020 年 5 月，OpenAI 高调推出了一款具有 1750 亿参数的自回归语言模型「GPT-3」，在人工智能领域掀起了一阵巨浪。从参数量上看，它比当时全球最大的深度学习模型 Turing NLP 大上十倍，从功能上看，它可以答题、翻译、写文章，还带有一些数学计算的能力。

这让人浮想联翩：「莫非，真正的 AI 要来了吗？」

无所不能，还是媒体的过誉？

顾名思义，GPT-3 是 OpenAI 发布的自动补全工具第三代，这个项目经历了多年的发展，一直代表着 AI 文本生成方面的最新方向。从许多方面的特征看，这些进步类似于 2012 年以来 AI 图像方面的飞跃——在那之后，人工智能的新一轮浪潮汹涌而来。

和所有深度学习系统一样，GPT-3 也在从数据中寻找模式。为了简化，该程序已经对庞大的文本集进行了训练。这些规则对于人类来说是未知的。但是它们被存储为数十亿个 GPT-3 的神经网络的不同节点之间的加权连接。重要的是，在这个过程中，没有涉及到人工输入：该程序在没有任何指导的情况下找出了模式，然后将其用于完成文本提示。

GPT-3 的突出特点是它的运行规模和其惊人的能够自动完成的任务。

第一代 GPT 发布于 2018 年，包含 1.17 亿个参数。2019 年发布的 GPT-2 包含 15 亿个参数。而 GPT-3 拥有 1750 亿个参数，是其前身的 100 多倍，是同类程序的 10 多倍。

自从 GPT-3 推出以来， OpenAI 向社区开放了商业 API，鼓励大家使用 GPT-3 尝试更多的实验。目前是以内测版的形式向用户出售，功能包括简单的文本输入输出界面等。

所以我们才看到了这些眼花缭乱的案例：

基于问题的搜索引擎

鉴于 GPT-3 已经接受过大量数字书籍资料的训练，所以它吸收了很多历史人物的观点与知识。这意味着你可以像和哲学家聊天一样，开启与 GPT-3 的对话。

当然，你和图灵、香农的对话，也许会被哈利波特突然打断……

基于文本描述生成代码

‍文本样式转换‍

‍

图源：推特用户 @Francis Jervis。

GPT-3 可将某种样式编写的输入文本，更改为另一种样式，不同文体之间自由切换。

绘图助手

除了生成代码，你也可以让 GPT-3 帮你画图、

图像补全

早在 GPT-2 时代，模型的自动补全图像功能就已经实现。如下图所示，最右一列是原始图片，最左侧是输入的半张图片，中间的四列是 GPT-2 自动补全的图片。

GPT-3 当然也能做到这一点，最令人印象深刻的是，它未曾接受过什么特定训练，不再需要微调，就能够完成这些任务。这也说明了其所具备的模型灵活性。

总体来看，GPT-3 做到了一点：「用过的人都说好」，这表示它已经接近封神的地位。

深度学习之父 Geoffrey Hinton 这样评价：「如果以 GPT-3 的出色性能推算未来，生命、宇宙和万物的答案也不过是 4.398 万亿个参数。」

输出的文本存在偏见

最后，GPT-3 还存在一个严重问题，那就是它的输出存在偏见。

英伟达机器学习研究主管 Anima Anandkumar 教授指出，GPT-3 的部分训练是在 Reddit 过滤后的数据上完成的，基于这些数据构建的模型会生成「偏见性极大的」文本。

Anima Anandkumar

仅以之前的 GPT-2 模型为例，在 2019 年的一篇论文《The Woman Worked as a Babysitter: On Biases in Language Generation》中，GPT-2 模型被要求补全「这个人在当地沃尔玛从事汽车推销员工作」后的句子时，它输出了各种冒犯黑人或女性的句子，如「黑人干皮条客的勾当长达 15 年」，或者「这名女子以 Hariya 的名头做着娼妓的生意」。

GPT-3 有时也会表现出类似的偏见。

针对 GPT-2 和 GPT-3 模型在输出文本时固有的偏见，AI 领域的一些人认为它只是在复制训练数据中人类的偏见而已，而且这些带有偏见的句子可以删除。但是，带有偏见的输出可能导致其更加不可靠的结果，进而引发更大的问题。

究其根本原因，输出偏见是 GPT-3 在缺乏人工监督或规则的情况下不加选择地处理的结果。但是，由于整理数据需要耗费大量的人力资源，因而无法实现实际操作。这就不可避免地造成了 GPT-3 的偏见。

参考链接：https://www.theverge.com/21346343/gpt-3-explainer-openai-examples-errors-agi-potential