> 自媒体 > AI人工智能 > 英伟达H100用11分钟训完GPT-3,PyTorch创始人:不要只看时间
英伟达H100用11分钟训完GPT-3,PyTorch创始人:不要只看时间
来源:机器之心Pro
2023-08-12
339
管理

机器之心报道

编辑:杜伟

赢了,但没有全赢。

昨天,老黄又「赢麻了」!

为啥呢?原来在最新的 MLPerf 基准测试中,英伟达 H100 GPU 芯片组在以下八项基准测试中全部创下了新纪录,同时成为唯一一个跑完所有测试的硬件平台。

据悉,最新 MLPerf Training v3.0 包含了基于 GPT-3 175B 的大型语言模型(LLM)测试,侧重于生成式 AI 能力。

图源:MLPerf benchmarks。

LLM 训练测试中还使用了专注于 GPU 加速的云计算服务提供商 CoreWeave 提供的 NVIDIA HGX H100 基础设施,在多个规模上联合提交了 LLM 工作负载。

出来的结果令人振奋:在 896 个英特尔 Xeon Platinum 8462Y 和 3584 个英伟达 H100 芯片的合作下,仅仅用了 11 分钟就完成了基于 GPT-3 的 LLM 训练任务。

一时之间,AI 社区响起了老黄赢麻了的欢呼声。

可结果真如此吗?今天有人对此事提出了质疑。

先是 PyTorch 创始人 Soumith Chintala,他认为 GPT-3 并没有在 11 分钟内训练完成。使用 3584 个 H100 GPU,GPT-3 架构在 C4 数据集上训练了 11 分钟,对数概率为 2.69。

这里不要只关注「11 分钟」,因为这就像说「ResNet-50 在 MNIST(其实这里他想说的是 CIFAR100)上,5 秒内训练达到了 80%的准确率。」

推特用户 @abhi_venigalla 对 Soumith 的观点表示赞同,他是生成式 AI 创业公司 MosaicML 的研究者。他认为 MLPerf 基准测试中训练 GPT-3 的时间更可能是 2 天。

在他看来,该基准测试并不是完整的 GPT-3。MLPerf 的 LLM 基准只提供了一个开始的检查点,然后必须达到目标损失。

因此,该基准 11 分钟跑完 GPT-3 只覆盖 1.2B 的 token,而非完整的 300B token。此外看起来更像是 540 TFLOPs/H100,从配置上看像 FP8,~27% MFU。

不过他也承认,从 H100 在其软件生命周期早期这一点来看,以此规模实现现在这种性能也相当惊人。

所以,最新 MLPerf 基准测试中 11 分钟训完 GPT-3 是不是被误解呢?评论区的小伙伴也可以发表下自己的观点。

参考链接:https://developer.nvidia.com/blog/breaking-mlperf-training-records-with-nvidia-h100-gpus/

1
点赞
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与华威派无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
凡本网注明 “来源:XXX(非华威派)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。
如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
QQ:2443165046 邮箱:info@goodmaoning.com
关于作者
酷匠(普通会员)
点击领取今天的签到奖励!
签到排行
1
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索