1.资金方面，OpenAI其核心语言模型GPT-3的单次训练成本高达460万美元。如果投资5000万美金，也只够GPT-3进行十次训练。
2.模型方面，OpenAI已经探明道路，也发表了论文，Meta也开源了一个类似的AI大模型，这块相对难度小一些。
3.训练GPU方面，美国已对中国禁售高端GPU，而运行AI大模型需要大量GPU，将影响AI大模型训练。跑通一次100亿以上参数量的GPT模型，至少要1000张GPU卡连续训练一个月。（英伟达A100，价格是五万元一个，GPT-3 参数在1750亿 个参数，chatGPT参数更多）
4.人力方面，训练一个有一两千亿参数的大规模语言模型，需要大量的人工调教和用户数据反馈。
5.语料数据方面，大模型所需的语料。
大量的数据都在互联网上，主要难度在于如何清洗出好数据。清洗数据本是个脏活累活。且中文互联网资料已经孤岛化，数据都在各大互不相通的APP上。如果语料不好，很有可能模型越训练，效果越匪夷所思。
6.中文训练难度更高，中文的语法较英文更松散灵活。
总结初创公司复刻中文chatgpt成功概率极低。很有可能花了大量资金，最后训练出来的模型与以前的检索模型差不多。
相关文章
关于作者
猜你喜欢
