> 自媒体 > AI人工智能 > 中国要做GPT-3!昇腾黑科技曝光,2.4倍性能提升释放「算力狂魔」
中国要做GPT-3!昇腾黑科技曝光,2.4倍性能提升释放「算力狂魔」
来源:新智元
2023-06-29
272
管理

编辑:yaxin, 好困

【新智元导读】1750亿参数,GPT-3靠的不仅是算法的提升,还有「算力的加成」。最新MLPerf基准测试中,昇腾基础软硬件平台集群性能同比提升2.4倍!如何释放「算力狂魔」?还要看CANN这三个黑科技。

未来十年,是AI算力的「超摩尔时代」。

要说2020年,AI领域最火的是什么?

毫无疑问是GPT-3,它能写小说、能与人聊天、还能下象棋...... 曾被冠以最「全能」语言模型的称号。

先说硬件实力。

硬件便是我们熟知的鹏城实验室与华为共建鹏城云脑Ⅱ。

采用搭载鲲鹏、昇腾处理器的Atlas 900集群,算力为1000P(每秒百亿亿次计算)。

硬件设备「杠杠的」,那么如何在硬件不变情况下,也能实现2.4倍性能的提升。

答案是,鹏城实验室这次集群性能的性能飞升,并不是主要靠硬件的加持,而是软件!

软件提升让算力爆发,这就是所谓的「根深叶茂」。

那么,此次软件和系统级上的优化在哪?

鹏城实验室田永鸿教授介绍道,「鹏城实验室使用华为人工智能全栈的解决方案,在今年的MLPerf评测中之所以能够取得如此优异的成绩,其中关键因素就是CANN。」

2.4倍性能提升!CANN释放「算力狂魔」

什么是CANN?

为了解决算力成本高、模型开发效率低的问题,CANN (Compute Architecture for Neural Networks) 是华为针对AI场景推出的异构计算架构。

它通过提供多层次的编程接口,支持用户快速构建基于昇腾平台的AI应用和业务,极大的释放了昇腾处理器的性能潜力。

同样是利用AI搜索算法,集群系统也可以在无数可能性中找到流水的最佳并行方案。

这样就可以在深度学习的大规模集群训练任务中,实现参数同步流水与计算流水最佳并行。

从而最大化地消减训练拖尾时间开销,提升集群训练的线性度。

这三个黑科技可以从算子层面到系统整体层面实现端到端优化,为Atlas 900训练集群提供有效算力的持续爆发。

三个黑科技,让CANN打开了算力魔盒,为AI硬件插上了翅膀。

华为轮值董事长胡厚崑在2021世界人工智能大会开幕式曾表示,「只有基础打得牢,根技术扎得深,应用创新跑得快,才有人工智能产业的参天大树和生态的持续繁荣。」

鹏城实验室能够在最新MLPerf基准测试中实现2.4倍性能提升,正是因为异构计算架构CANN这3个黑科技扎下了深根。

只有基础打得牢,根技术扎得深,才有人工智能的繁荣发展。

总之,技术要扎到根,根深才能叶茂。

—完—

欢迎点赞~ 关注 新智元 及时了解人工智能新动态~

1
点赞
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与华威派无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
凡本网注明 “来源:XXX(非华威派)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。
如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
QQ:2443165046 邮箱:info@goodmaoning.com
关于作者
乖乖(普通会员)
点击领取今天的签到奖励!
签到排行
1
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索