微软推出ND H200 v5系列AI虚拟机 吞吐量提升35%

文章正文
发布时间:2024-10-31 23:17

近日,微软正式推出ND H200v5系列Azure虚拟机(VM),旨在帮助企业应对日益繁重的AI工作负载需求。

AI虚拟机是云计算环境中的一种资源,它提供了专门的硬件资源和软件环境,用于支持人工智能和机器学习工作负载。AI虚拟机通常配备了高性能的GPU,以加速AI模型的训练和推理过程。

ND H200v5虚拟机在性能、效率和扩展性上都有大幅提升,现已广泛应用于微软的AI服务平台,包括Azure机器学习和Azure OpenAI服务等。OpenAI的基础设施负责人Trevor Cai透露,OpenAI正在使用Azure新推出的H200虚拟机来推动ChatGPT的研发工作,旨在进一步提升用户体验。Cai指出,H200虚拟机在最小化迁移工作负载的同时,提供了更好的运算性能。

ND H200v5系列AI虚拟机是微软Azure云服务中的一种高性能计算资源,专为AI工作负载设计,能够处理从基础模型训练到复杂生成式推理等高级AI工作负载。这些虚拟机配备了英伟达H200Tensor Core GPU,提供了强大的计算能力和高速的内存带宽,非常适合执行大规模的AI训练和推理任务。与上一代Azure ND H100v5相比,ND H200v5带来了76%的大带宽内存(HBM)提升,容量达到141GB,同时HBM带宽提高43%,达到4.8TB/s。

带宽的提升让GPU能更快访问模型参数,从而降低整体延迟,特别适合需要即时响应的应用场景,如交互式智能体。ND H200v5还支持在单个虚拟机中处理更复杂的大语言模型(LLM),减少了跨多台虚拟机分布式计算的开销,从而提高整体性能。