编辑:yaxin, 好困
【新智元导读】1750亿参数,GPT-3靠的不仅是算法的提升,还有「算力的加成」。最新MLPerf基准测试中,昇腾基础软硬件平台集群性能同比提升2.4倍!如何释放「算力狂魔」?还要看CANN这三个黑科技。未来十年,是AI算力的「超摩尔时代」。
要说2020年,AI领域最火的是什么?
毫无疑问是GPT-3,它能写小说、能与人聊天、还能下象棋...... 曾被冠以最「全能」语言模型的称号。
先说硬件实力。
硬件便是我们熟知的鹏城实验室与华为共建鹏城云脑Ⅱ。
采用搭载鲲鹏、昇腾处理器的Atlas 900集群,算力为1000P(每秒百亿亿次计算)。
硬件设备「杠杠的」,那么如何在硬件不变情况下,也能实现2.4倍性能的提升。
答案是,鹏城实验室这次集群性能的性能飞升,并不是主要靠硬件的加持,而是软件!
软件提升让算力爆发,这就是所谓的「根深叶茂」。
那么,此次软件和系统级上的优化在哪?
鹏城实验室田永鸿教授介绍道,「鹏城实验室使用华为人工智能全栈的解决方案,在今年的MLPerf评测中之所以能够取得如此优异的成绩,其中关键因素就是CANN。」
2.4倍性能提升!CANN释放「算力狂魔」什么是CANN?
为了解决算力成本高、模型开发效率低的问题,CANN (Compute Architecture for Neural Networks) 是华为针对AI场景推出的异构计算架构。
它通过提供多层次的编程接口,支持用户快速构建基于昇腾平台的AI应用和业务,极大的释放了昇腾处理器的性能潜力。
同样是利用AI搜索算法,集群系统也可以在无数可能性中找到流水的最佳并行方案。
这样就可以在深度学习的大规模集群训练任务中,实现参数同步流水与计算流水最佳并行。
从而最大化地消减训练拖尾时间开销,提升集群训练的线性度。
这三个黑科技可以从算子层面到系统整体层面实现端到端优化,为Atlas 900训练集群提供有效算力的持续爆发。
三个黑科技,让CANN打开了算力魔盒,为AI硬件插上了翅膀。
华为轮值董事长胡厚崑在2021世界人工智能大会开幕式曾表示,「只有基础打得牢,根技术扎得深,应用创新跑得快,才有人工智能产业的参天大树和生态的持续繁荣。」
鹏城实验室能够在最新MLPerf基准测试中实现2.4倍性能提升,正是因为异构计算架构CANN这3个黑科技扎下了深根。
只有基础打得牢,根技术扎得深,才有人工智能的繁荣发展。
总之,技术要扎到根,根深才能叶茂。
—完—
欢迎点赞~ 关注 新智元 及时了解人工智能新动态~
相关文章
猜你喜欢