​英伟达 GB200 NVL72 性能惊人，超越 AMD MI355X 达 28 倍

JQR1

在最新发布的 SemiAnalysis InferenceMAX 基准测试中，Signal65 分析了 Deepseek-R1 0528 混合专家（MoE）模型的推理表现，结果显示英伟达（NVIDIA）的 GB200 NVL72 机架系统在性能上大幅领先于同规模的 AMD Instinct MI355X 集群。混合专家模型的特点在于能够根据任务类型激活最适合的 “专家” 进行处理，这种设计提高了效率，但在大规模扩展时可能导致节点之间的通信延迟和带宽压力，成为计算瓶颈。

英伟达通过 “极致协同设计” 策略，优化了 GB200 NVL72 的架构。该系统通过紧密互联 72 颗芯片，并配备高达 30TB 的共享内存，显著提升了数据传输效率，解决了延迟问题。根据测试数据，GB200 NVL72 在相似配置下的每个 GPU 吞吐量高达 75 tokens / 秒，其性能是 AMD MI355X 的 28 倍。

对于超大规模云计算公司而言，整体拥有成本（TCO）是非常重要的考量指标。Signal65 结合 Oracle 云定价数据指出，GB200 NVL72 不仅性能强劲，成本效益也令人瞩目。其每 token 的相对成本仅为 AMD 方案的十五分之一，并且提供了更高的交互速率。

尽管英伟达在混合专家模型领域占据主导地位，AMD 仍有其竞争优势。报告指出，AMD 的 MI355X 凭借高容量的 HBM3e 内存，在稠密模型环境中仍然是一个具备竞争力的选项。目前，AMD 尚未推出新的机架级解决方案来应对 GB200 NVL72 的挑战。然而，随着 AMD Helios 平台与英伟达 Vera Rubin 平台的竞争逐渐白热化，未来在机架级扩展方案上的较量将更加激烈。

来源：AIbase