每经记者:杨煜 每经编辑:张海妮
今日(4月8日),由中国人工智能学会主办的“人工智能大模型技术高峰论坛”主论坛在杭州萧山启幕。论坛上,CAAI教育工委会主任、浙江大学人工智能研究所所长、求是特聘教授、国家杰青获得者吴飞发表演讲。
吴飞教授作了《从ChatGPT到GPT-4的分析与思考》主题报告,他指出,在ChatGPT的技术路线中,数据是燃料、模型是引擎、算力是加速器。
具体而言,数据方面,训练中使用了45TB数据、近1万亿个单词(约1351万本牛津词典所包含单词数量)以及数十亿行源代码。模型方面,包含了1750亿参数,将这些参数全部打印在A4纸张上,一张一张叠加后,叠加高度将超过上海中心大厦632米高度。算力方面, ChatGPT的训练门槛是1万张英伟达V100芯片、约10亿人民币,模型训练算力开销是每秒运算一千万亿次,需运行3640天(3640 PetaFLOPs per day )。
吴飞表示,ChatGPT和GPT-4中以“共生则关联”为核心的概率统计模型,体现了“计算独大、表示丰富和机理式微”的特点,这也反映了计算机所体现的“试错与暴力”优势。吴飞还在报告中分析了GPT所包含1750亿参数的涌现了合成能力,是多者异也的结果。吴飞表示:“我们不仅需要善于制造工具,还要善于去利用ChatGPT这个工具开创更加美好的时代,因为在人和人造物协同共长的时代,人有人的作用。”
每日经济新闻
相关文章
猜你喜欢