鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI

那个语言模型又迭代了，现在有1750亿个参数。

这个让英伟达狂喜，让调参师流泪的数字来自OpenAI，史上最大AI语言模型——

GPT-3。

单单论文就有72页。

OpenAI表示，通过GPT-3，他们证明了无需梯度更新，无需微调，规模更大的语言模型就可以大大改善无关任务和小样本（few-shot）学习的性能，达到最先进微调方法的水准。

在部分任务中，甚至超越了最先进微调方法。

能自己编故事、纠正英语语法，甚至，GPT-3还学会了3位数基本运算。

他还发出了灵魂一问：

有见过人用窜天猴去调试火箭发射井嘛？

复旦邱锡鹏教授则认为，Pretrain finetune仍然会是未来几年的主流。

虽然如此恐怖的计算成本让人有些望而却步，但EECVC联合创始人Dmytro Mishkin认为：

按10年前的标准，ResNet50的计算代价也是令人望而却步的，但事实证明它们的存在是必要的。

也有网友表示：

GPT-3可能还是无法帮助OpenAI盈利，也无法直接上线显著造福网民，但是从中积累的大模型训练经验是OpenAI及其背后的微软Azure一笔巨大的财富。这就像，人类登上火星/月球可能并不能带来直接的资源收益，但是从中积累的科学技术却可以推动人类社会的发展。

做NLP，虽然有了资源不一定行，但是没有资源现在肯定是不行了。

不管怎么说，看到这GPU熊熊燃烧的场面，想必老黄已经乐开了花。

目前，GPT-3尚未开源，可以期待一下，OpenAI这回会挤多久牙膏了。

参考链接

论文地址：https://arxiv.org/abs/2005.14165GitHub地址：https://github.com/openai/gpt-3https://zhuanlan.zhihu.com/p/144597974https://www.zhihu.com/question/398114261/answer/1254053398https://www.zhihu.com/question/398114261/answer/1254692810

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态