英伟达杀疯了！DeepSeek V4推理成本狂砍80%

as22

7月2日消息，英伟达宣布其Blackwell平台通过全栈推理软件优化，DeepSeek V4模型的单Token成本在一个月内最多降至五分之一。

随着企业从AI试点走向生产型AI工厂，基础设施决策已从芯片规格峰值转向每元、每瓦特及延迟目标内能交付多少有用Token。

英伟达通过三层架构实现Token成本的大幅下降。生产运营层负责分布式服务编排与自动扩缩容，应用加速层通过计算通信重叠和内核融合进行运行时优化，基础设施访问层则直接调用GPU、网络与系统能力。

多项技术叠加后，Blackwell平台单GPU的Token吞吐量最高可提升20倍。这些技术包括分离式服务、基于NVLink的大规模专家并行、NVFP4精度以及多Token预测。

英伟达将单Token成本列为AI总拥有成本的核心指标，Blackwell平台已将其降至行业最低水平。

多家推理服务商已从中获益。Baseten利用TensorRT-LLM开源库在Blackwell上服务DeepSeek V4 Pro，每秒Token输出量提升高达50%。

Cognition借助Dynamo推理框架管理GPU，无需从零构建即可扩展强化学习工作负载。Together AI用TensorRT-LLM帮助Cursor加速从模型优化到生产终端的路径。

开源生态进一步放大了全栈优势。PyTorch等主流框架原生基于CUDA构建，使新研究成果能立即在NVIDIA GPU上运行。

DeepSeek V4发布后，vLLM和SGLang等框架随即为Blackwell提供部署方案，一个月内性能提升高达5倍。

来源：快科技