编辑：桃子 好困
【新智元导读】GPT-4远不止1万亿，甚至，还是8个2200亿参数组成的混合专家模型。
家人们，GPT-4的参数可能还真不止1万亿！
近来，美国知名骇客George Hotz在接受采访时透露，GPT-4由8个220B模型组成。
这么算来，8 x 220B = 1.76万亿。
就连PyTorch的创建者Soumith Chintala对此也深信不疑。
GPT-4：8 x 220B专家模型用不同的数据/任务分布和16-iter推理进行训练。
如果真是这样的话，GPT-4的训练可能更加有效。
网友热评
就像George所说，这是8个较小的模型，如果有足够资金训练8个混合模型，这是一个微不足道的解决方案。
网友得知秘诀后，打算自己也要训练一个LLaMA集合体与GPT-4竞争。
还有网友称，这有点像LLM-Blender。
网友下了功夫，给它命名为「九头蛇」。
参考资料：
相关文章
关于作者
猜你喜欢
