​JetBrains 推出 AI 编码智能体基准测试平台 DPAI Arena

JQR1

近日，编程 IDE 开发商 JetBrains 宣布推出 Developer Productivity AI Arena（DPAI Arena），这是一款业内首个开放式、多语言、多框架和多工作流的基准测试平台。随着 AI 技术的不断发展，如何评估 AI 辅助工具在软件开发中的实际效果成为了一项重要挑战。DPAI Arena 的发布旨在为这一挑战提供解决方案，并将最终项目交给 Linux Foundation 管理。

DPAI Arena 致力于衡量 AI 编码智能体在真实软件工程任务中的表现。它的设计基于灵活的路径架构，可以对不同的工作流程进行公平且可重复的比较，例如修补、bug 修正、PR 审查、测试生成和静态分析等。JetBrains 指出，目前的基准测试往往依赖于过时的数据集，技术范围也相对狭窄，无法全面反映 AI 编码工具对开发者效率的影响。



该平台的第一项基准测试为 Spring Benchmark，它设定了未来贡献的技术标准。具体来说，DPAI Arena 实现了数据集创建的指导原则，并详细说明了支持的评估格式及规则。此外，它还为解耦基础设施提供了基础，允许用户以 “自带数据集”（BYOD）的方式进行个性化评估。

JetBrains 还计划与 Spring AI Bench 项目团队合作，扩展 DPAI Arena 中的 Java 基准测试流，推动 Java 生态系统的多样性与基准测试的多路径化。未来，JetBrains 将此项目献给 Linux Foundation，希望通过建立多元且包容的技术指导委员会，明确平台的发展方向。

网址:https://dpaia.dev/

来源：AIbase