> 自媒体 > AI人工智能 > 英伟达H100杀疯了:11分钟训完GPT-3,霸榜8项测试
英伟达H100杀疯了:11分钟训完GPT-3,霸榜8项测试
来源:是你的暖暖呀
2023-09-04
220
管理

本创作是本人在今日头条的原创首发内容,拒绝任何人任何形式搬运到其它平台发布!阅读此文前,诚邀您点击一下“关注”按钮,方便以后持续为您推送此类文章。

【导语】

近期,英伟达引发了AI圈的一次轰动,以其最新研发的H100集群在MLPerf训练基准测试中刷新了多项记录,令人瞩目。这个集群在大语言模型任务中表现尤为突出,其加速性能几乎呈线性增长,这意味着集群内GPU之间的通信效率非常高。

在这次MLPerf测试中,H100集群以其强悍的性能成绩吸引了众多目光,不仅是唯一一个参加了全部八项测试的集群,而且还刷新了单节点加速记录。相较于6个月前的测试数据,单个DGX H100系统在各项任务中的平均提速高达17%,在某些任务中甚至能达到3.1倍的加速效果,这些都得益于H100集群自身的卓越性能和其依赖的高效加速网络。

H100的强悍性能源自于其先进的硬件架构和工艺。

这个模型具有强大的智能交互能力,可以逐渐理解用户,并提供个性化的回答,类似于个人智能管家。Inflection AI的发展也备受关注,其估值已超过12亿美元,并计划进一步扩大底层计算基础设施的规模。

【结尾】

总的来说,英伟达H100集群在最新的MLPerf训练基准测试中刷新多项记录,其强大的性能表现引起了广泛关注。从大语言模型任务到推荐算法、医学图像识别,H100集群都展现出了惊人的加速能力。

这意味着H100集群内部GPU之间高效的通信成为了可能。更为惊人的是,H100集群还在推荐算法、计算机视觉、医学图像识别以及语音识别等任务中表现出色,成为仅有的参与了八项测试的集群之一。这一系列成绩的背后,是云厂商CoreWeave和初创公司Inflection AI的强大支持和密切合作。

H100集群在大语言模型任务中的表现尤为引人注目。其加速性能近乎线性增长,表明集群内GPU之间的通信效率得到了显著提升。

在当今算力决定一切的时代,这次的突破意义重大。而除了大语言模型任务,H100集群在推荐算法、计算机视觉、医学图像识别和语音识别等领域也表现出色。在本次MLPerf测试中,H100集群不仅在各项任务中表现优异,还刷新了单节点加速记录。相较于半年前的测试数据,单个DGX H100系统在各项任务中平均提速17%,在某些任务中甚至达到了3.1倍的加速效果。这一成绩的实现,源于H100本身强大的性能以及集群内高效的加速网络。

H100集群的强大性能得益于其先进的硬件架构和工艺。基于最新的Hopper架构,H100采用了台积电的4nm工艺,内部集成了800亿个晶体管,较A100增加了260亿个,内核数量更是达到了前所未有的16896个,是A100的2.5倍。尤其值得一提的是,H100集群中还搭载了专门的Transformer Engine,使得大型模型的训练速度能够直接提升6倍。

此外,集群所使用的Quantum-2 InfiniBand网络为加速网络提供了坚实的支持,提供了软件定义网络、网络内计算、性能隔离、优越加速引擎以及最快达到400Gb/s的安全加速。

除了H100集群本身的强大性能,云厂商CoreWeave和初创公司Inflection AI的支持也功不可没。成立于2017年的CoreWeave,以其高速、高灵活性的大规模GPU计算资源在业界广受瞩目。

这家云厂商在过去几个月里不仅获得了来自英伟达、微软等巨头的投资,还获得了大量对冲基金的支持。Inflection AI则由DeepMind创始成员穆斯塔法·苏莱曼等人创建,其开发的大语言模型Pi正是在H100集群上进行训练的。Pi模型能够通过与用户的聊天内容逐渐理解用户需求,为其提供个性化的智能回应,类似于个人智能管家的角色。Inflection AI的迅速发展也令人瞩目,其估值已超过12亿美元,并计划在未来几个月内进一步扩大底层计算基础设施的规模。

【结尾】

总的来说,英伟达的H100集群在最新的MLPerf训练基准测试中所展现的强大性能引起了业界的热议。这次的技术突破不仅彰显了H100集群的卓越能力,还凸显了云厂商CoreWeave和初创公司Inflection AI在背后的支持和合作。随着技术的不断进步,计算集群在AI领域的应用潜力将会更加广阔,人们对未来的发展充满了期待。

【注】

本文基于提供的原文进行改写,使用了不同的句子结构和表达方式,确保文章内容与原文有较大的差异。

0
点赞
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与华威派无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
凡本网注明 “来源:XXX(非华威派)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。
如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
QQ:2443165046 邮箱:info@goodmaoning.com
关于作者
天泰悠然(普通会员)
点击领取今天的签到奖励!
签到排行
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索