返回列表 发布新帖
查看: 2|回复: 0

[互联网] AMD Lemonade SDK新增NVIDIA CUDA支持

发表于 1 小时前 | 查看全部 |阅读模式

这里或许是互联网从业者的最后一片净土,随客社区期待您的加入!

您需要 登录 才可以下载或查看,没有账号?立即注册

×
6月11日消息,AMD主导开发的开源本地AI服务器解决方案Lemonade发布了10.7版本,正式集成NVIDIA CUDA后端,首次实现对NVIDIA GPU的完整本地AI推理适配。

Lemonade此前已广泛支持AMD Ryzen AI NPU、Radeon/Instinct GPU、x86_64 CPU及Apple Metal GPU,唯独缺失对NVIDIA产品的专门优化。

Sa7f642e4-904a-4b58-8700-041946366a4c.png

此次10.7版本在Windows与Linux双平台上同步集成Llama.cpp的CUDA后端,配合NVIDIA GPU检测功能,用户可在NVIDIA硬件上获得与AMD硬件一致的本地AI体验。

该项目还首次在Linux上加入stable-diffusion.cpp的CUDA后端,同时带来跨厂商的Vulkan扩展支持,进一步拓宽了GPU适配范围。

本次更新还带来Lemonade产品路线中的重要工具lemonade bench,专用于在Llama.cpp、FastFlowLM、vLLM、Ryzen AI等多后端之间进行端到端的LLM推理性能对比,降低开发者测试门槛。

除此之外,LMX-Omni模型支持、原生Prometheus实时监控端点等增强功能一同上线,稳步推进Lemonade向全场景本地AI引擎演进。

值得关注的是,本次CUDA后端的合并是由外部开发者提交,最终由AMD官方合并进主线,标志着AMD向跨厂商AI生态迈出了重要一步。

AMD Lemonade项目持续在GitHub发布开源版本,目前10.7已可通过项目主页下载体验,开发者可根据硬件需求选择适当后端组合,实现从云端API到本地部署的平滑过渡。

来源:快科技
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Copyright © 2001-2026 Suike Tech All Rights Reserved. 随客交流社区 (备案号:津ICP备19010126号) |Processed in 0.112705 second(s), 7 queries , Gzip On, MemCached On.
关灯 在本版发帖返回顶部
快速回复 返回顶部 返回列表