微软Azure高性能计算和人工智能产品负责人Nidhi Chappell表示：「我们需要让更大的模型训练更长的时间，这意味着你不仅需要拥有最大的基础设施，你还必须让它长期可靠地运行。」

Azure全球基础设施总监Alistair Speirs表示，微软必须确保它能够冷却所有这些机器和芯片。比如，在较凉爽的气候下使用外部空气，在炎热的气候下使用高科技蒸发冷却器等。

Nidhi Chappell表示，由于这些工作跨越了数千个GPU，因此除了要确保基础设施的可靠外，还需要大量很多系统级优化才能实现最佳的性能，而这是经过许多代人的经验总结出来的。

所谓系统级优化，其中就包括能够有效利用GPU和网络设备的软件。

在过去的几年里，微软已经开发出了这种技术，在使训练具有几十万亿个参数的模型的能力得到增长的同时，降低了训练和在生产中提供这些模型的资源要求和时间。

Waymouth指出，微软和合作伙伴也一直在逐步增加GPU集群的容量，发展InfiniBand网络，看看他们能在多大程度上推动保持GPU集群运行所需的数据中心基础设施，包括冷却系统、不间断电源系统和备用发电机。

微软AI平台公司副总裁Eric Boyd表示，这种为大型语言模型训练和下一波AI创新而优化的超算能力，已经可以在Azure云服务中直接获得。

并且微软通过与OpenAI的合作，积累了大量经验，当其他合作方找来、想要同样的基础设施时，微软也可以提供。

现在，微软的Azure数据中心已经覆盖了全球60多个地区。

全新虚拟机：ND H100 v5

在上面这个基础架构上，微软一直在继续改进。

今天，微软就官宣了全新的可大规模扩展虚拟机，这些虚拟机集成了最新的NVIDIA H100 Tensor Core GPU 和 NVIDIA Quantum-2 InfiniBand 网络。

通过虚拟机，微软可以向客户提供基础设施，根据任何AI任务的规模进行扩展。据微软称，Azure的新ND H100 v5 虚拟机为开发者提供卓越的性能，同时调用数千个GPU。

参考资料：