联想发布端侧AI新技术，PC本地推理能力媲美 OpenAI-mini

as22

5月7日消息，今日，联想创新科技大会（Tech World）以“让AI成为创新生产力”为主题，聚焦混合式人工智能，从个人到企业，全方位展示联想创新技术成果。

会上，联想展示了其在端侧算力方面的最新创新成果 —— “联想推理加速引擎”。

据了解，这款由联想、清华大学及无问芯穹联合研发的推理引擎，是专为高效AI PC推理而设计的软硬件协同优化平台，可以让一台普通PC的本地推理能力，媲美OpenAI去年发布的o1-mini云端模型。

“联想推理加速引擎”通过高性能并行解码、算子融合优化以及异构计算技术, 实现了多种应用场景下推理速度的大幅提升，以及功耗和内存占用的显著降低。

与大模型推理芯片相结合，通过硬件加速与软件优化的无缝协作，进一步放大了性能提升，形成了叠加效应。

为直观展示 “联想推理加速引擎”的实力，现场设置了一场“竞速赛”。三台配置相同的AI PC同时解答2024年高考数学压轴题：

初代大模型：耗时27秒，答案0分。

二代大模型：耗时26秒，答案满分。

二代大模型+“联想推理加速引擎”：耗时13秒，答案满分。

这表明模型能力的提升和 “联想推理加速引擎”对算力的提升，让设备的预填充更为迅速、解码速度更快、推理时间更短，同时占用内存更少，能耗更低，设备上的 AI 能力得到了大幅提升。

联想集团董事长兼CEO杨元庆表示，很快大家就会在即将发布的下一代 AI PC 上体验到 “联想推理加速引擎”带来的强大本地推理能力，其性能可以与云端大模型相媲美，但成本却低得多。

来源：快科技