机器之心报道

编辑：魔王、张倩

如果说 GPT 模型是所向披靡的战舰，那么 minGPT 大概算是个头虽小但仍能乘风破浪的游艇了吧。

最近，「史上最大 AI 模型」GPT-3 风靡全球。

GPT 系列可以说是人工智能领域「暴力美学」的代表作了。2018 诞生的 GPT，1.17 亿参数；2019 年 GPT-2，15 亿参数；2020 年 GPT-3，1750 亿参数。短短一年时间，GPT 模型的参数量就呈指数级增长。

GPT-3 发布后不久，OpenAI 即向社区开放了商业 API，鼓励大家使用 GPT-3 尝试更多的实验。然而，API 的使用需要申请，而且你的申请很有可能石沉大海。那么，除了使用官方 API 以外，我们还有没有其他方法能上手把玩一下这个「最大模型」呢？

近日，特斯拉人工智能研究负责人、前 OpenAI 研究科学家 Andrej Karpathy 进行了尝试。

他基于 PyTorch，仅用 300 行左右的代码就写出了一个小型 GPT 训练库，并将其命名为 minGPT。

Andrej Karpathy 其人

Andrej Karpathy 是计算机视觉、生成式模型与强化学习领域的研究者，博士期间师从斯坦福大学计算机科学系教授李飞飞。读博期间，他曾两次在谷歌实习，研究在 Youtube 视频上的大规模特征学习。此外，他还和李飞飞等人一起设计、教授了斯坦福经典课程 CS231n。

除了关于 minGPT 本身的讨论之外，还有人提出：有没有可能借助社区力量一起训练 GPT-3？也就是说，如果成千上万的开发者在 GPU 空闲的时候将其贡献出来（比如夜间），最后有没有可能训练出一个 1750 亿参数的 GPT-3？这样的话，大家只需要分摊电费就好了。

不过，有人指出，这种分布式训练的想法非常有趣，但可能会在梯度等方面遇到瓶颈。

还有人调侃说，把电费众筹一下拿来买云服务岂不是更简单？

参考链接：https://news.ycombinator.com/item?id=24189497