梦晨 发自 凹非寺量子位 | 公众号 QbitAI

大神仅花一个周末训练微型LLaMA 2，并移植到C语言。

推理代码只有500行，在苹果M1笔记本上做到每秒输出98个token。

作者是OpenAI创始成员Andrej Karpathy，他把这个项目叫做Baby LLaMA 2（羊驼宝宝）。

虽然它只有1500万参数，下载下来也只有58MB，但是已经能流畅讲故事。

所有推理代码可以放在C语言单文件上，没有任何依赖，除了能在笔记本CPU上跑，还迅速被网友接力开发出了各种玩法。

llama.cpp的作者Georgi Gerganov搞出了直接在浏览器里运行的版本。

训练数据集TinyStories则来自微软前一阵的研究。

2023新视野数学奖得主Ronen Eldan、2023斯隆研究奖得主李远志联手，验证了1000万参数以下的小模型，在垂直数据上训练也可以学会正确的语法、生成流畅的故事、甚至获得推理能力。

此外，开发过程中还有一个插曲。

Karpathy很久不写C语言已经生疏了，但是在GPT-4的帮助下，还是只用一个周末就完成了全部工作。

优化之路还未停止。

有人提出，可以通过GCC编译器的-funsafe-math-optimizations模式再次提速6倍。

Baby LLaMA 2一路火到Hacker News社区，也引发了更多的讨论。

有人提出，现在虽然只是一个概念验证，但本地运行的语言模型真的很令人兴奋。

虽然无法达到在云端GPU集群上托管的大模型的相同功能，但可以实现的玩法太多了。

在各种优化方法加持下，karpathy也透露已经开始尝试训练更大的模型，并表示：

70亿参数也许触手可及。

GitHub：https://github.com/karpathy/llama2.c

在浏览器运行Baby LLaMA 2：https://ggerganov.com/llama2.c

参考链接：[1]https://twitter.com/karpathy/status/1683143097604243456[2]https://twitter.com/ggerganov/status/1683174252990660610[3]https://twitter.com/altryne/status/1683222517719384065[4]https://news.ycombinator.com/item?id=36838051

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态