据外媒MSPoweruser报道，GPT是Generative Pre-training Transformer的简称，是由Alec Radford编写的语言模型，2018年由埃隆·马斯克的人工智能研究实验室OpenAI发布。它采用了生成式语言模型（两个神经网络通过竞争相互完善），通过对不同的书面材料集与长篇连载文本的预训练，能够获取世界知识并处理长程依赖关系。

GPT-2于2019年2月宣布，是一个无监督的转化语言模型，它是在800万份文档上训练出来的，共40GB的文本，来自通过Reddit提交分享的文章。埃隆·马斯克并不愿意发布它，因为他担心它可能被用来向社交网络发送假新闻。

2020年5月，OpenAI发布了GPT-3，这个模型包含的参数比GPT-2多了两个数量级（1750亿vs 15亿个参数），它比GPT-2有了极大的改进。

给予任何文本提示，GPT-3将返回一个文本完成，试图匹配用户给它的模式。用户可以给它 "编程"，只需向它展示几个希望它做的例子，它就会提供一篇完整的文章或故事，比如下面的文字，完全由GPT-3编写。

GPT-3在许多NLP数据集上都取得了很强的性能，包括翻译、问题回答和cloze任务，以及一些需要即时推理或领域适应的任务，如在句子中使用一个新词或执行3位数运算。GPT-3可以生成人类评估人员难以区分的新闻文章样本。

最后一个应用一直让OpenAI担心。GPT-3目前以开放测试版的形式提供，预计最终会推出付费的私人测试版。OpenAI表示，对于明显有害的用例，如骚扰、垃圾邮件、激进化等传播，他们将终止API访问。虽然最明显受到威胁的人群是那些生产书面作品的人，比如编剧，但AI开发者已经发现了令人惊讶的应用，比如使用GPT-3来编写代码。

比如Sharif Shameem就写了一个布局生成器，用户用纯文本描述他们想要的东西，模型就会生成相应的代码。

虽然看起来这种方法可能会直接导致一个可以像人类一样理解、推理和对话的通用人工智能，但OpenAI警告说，他们可能遇到了根本性的扩展问题，GPT-3需要几千petaflop/s-day的计算量，而完整的GPT-2只有几十petaflop/s-day。

在GitHub上可阅读更多关于GPT-3的内容。