萧箫 发自 凹非寺量子位 | 公众号 QbitAI

基于Meta模型打造的轻量版ChatGPT，这就来啦？

Meta宣布推出LLaMA才三天，业界就出现了把它打造成ChatGPT的开源训练方法，号称比ChatGPT训练速度最高快15倍。

LLaMA是Meta推出的超快超小型GPT-3，参数量只有后者的10%，只需要单张GPU就能运行。

把它变成ChatGPT的方法名叫ChatLLaMA，基于RLHF（基于人类反馈的强化学习）进行训练，在网上很快掀起了一阵热度。

ChatLLaMA也在这一系列模块中，但要注意的是它的开源license也是不可商用的。

所以“国产自研ChatGPT”想要直接拿去用，可能还没那么简单（doge）。

看完这个项目后，有网友表示，要是有人真搞到LLaMA的模型权重（代码）就好了……

但也有网友指出，“比ChatGPT训练方法快15倍”这种说法是一个纯纯的误导：

所谓的快15倍只是因为LLaMA模型本身很小，甚至能在单个GPU上运行，但应该不是因为这个项目所做的任何事情吧？

这位网友还推荐了一个比库中效果更好的RLHF训练方法，名叫trlx，训练速度要比通常的RLHF方法快上3~4倍：

你拿到LLaMA的代码了吗？觉得这个训练方法如何？

ChatLLaMA地址：https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllama

参考链接：https://twitter.com/omarsar0/status/1630211059876339713

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态