Arm Neoverse与AWS Graviton4加速云计算创新

作者：Arm基础设施事业部服务器生态系统开发总监

Bhumik Patel

随着人工智能(AI) 技术的加速迅猛发展，云计算领域正在经历显著变革。云计愈发复杂的算创 AI 应用对计算解决方案的性能、效率和成本效益提出了更高要求。加速在云端部署工作负载的云计客户正在重新评估其所需的基础设施，以满足现代工作负载需求，算创其中不仅包括提高性能和降低成本，加速还涵盖了需符合监管要求或可持续发展目标的云计新能效基准。

Arm 与亚马逊云科技 (AWS) 长期合作，算创为实现性能更强劲、加速更高效和可持续的云计云计算提供专用芯片和计算技术。在近期举行的算创 AWS re:Invent 2024 大会上，AWS 进一步展示了 AWS Graviton4 所取得的加速显著进展，使开发者和企业能够充分发挥其云工作负载的云计性能潜力。

卓越的算创性能表现

相较于上一代 Graviton3 处理器，基于 Arm Neoverse V2 平台的 AWS Graviton4 处理器在计算性能上提升了 30%，核心数增加了 50%，内存带宽提高了 75%。凭借这些技术优势，AWS Graviton 处理器在生态系统和客户群体中得到了广泛应用。

Arm Neoverse V2 平台涵盖 Armv9 架构的新特性，包括高性能浮点和向量指令支持，以及 SVE/SVE2、Bfloat16 和 INT8 MatMul 等特性。这些特性为 AI/机器学习(ML) 以及高性能计算 (HPC) 工作负载提供了卓越性能。

AI/ML 工作负载

今年早些时候，Arm 与主流的 AI 框架和软件生态系统合作，推出了 Arm Kleidi 软件，以确保 Arm 平台上开机即用的推理性能优化能惠及整个 ML 栈，开发者无需掌握额外的 Arm 专业知识即可构建其工作负载，从而进一步推动 AI 工作负载的广泛应用。此前，我们已展示了 PyTorch 中的这些优化如何赋能 AWS Graviton4 上运行大语言模型 (LLM)，如 Llama 3 70B 和 Llama 3.1 8B，并显著改善了每秒生成词元 (token) 数和词元首次响应时间的表现指标。

欢迎阅读《Arm KleidiAI 助力提升 PyTorch 上 LLM 推理性能》一文，详细了解性能指标的提升细节。

HPC 和 EDA工作负载

对于 HPC 工作负载，Graviton4 相较于 Graviton3E 在功能上实现了显著提升。每个核心的主内存带宽增加了16%，每个 vCPU的 L2 缓存容量翻倍。这些改进对于 HPC 应用的性能至关重要，因为 HPC 应用通常受限于内存带宽。AWS 已经在这些领域取得了显著优势，如下所示。

根据 Arm 工程团队实际运行 EDA 工作负载所得出的结果，Graviton4 提供的 RTL 仿真工作负载性能比 Graviton3 高出 37%。

生态系统广泛采用

近年来，随着云计算用户将各种云工作负载部署在 AWS Graviton 处理器上，其软件生态系统持续扩展。如此一来，客户不仅节省了费用，收获了性能的提升，还能优化其碳足迹和可持续发展足迹。以下是部分示例：

着手利用 Graviton 的强大性能

我们坚信 Arm 将在云计算的未来中发挥关键作用，同时我们也非常自豪能够支持 AWS Graviton 立于技术创新的前沿。Arm 将继续投入，进一步强化我们的软件生态系统，从而使开发者能够更加轻松地在 Arm 平台上构建其应用，并充分利用 Arm 计算平台所提供的卓越性能和效率优势。