JetBrains推出AI编码智能体基准测试平台DPAIArena

11月17日消息，编程IDE开发企业JetBrains于今日发布文章称，在AI技术蓬勃发展的当下，如何评估AI辅助工具在实际场景中对效率的提升作用，已成为一项核心挑战。为了攻克这一难题，JetBrains计划打造Developer Productivity AI Arena（DPAI Arena），且最终会将该平台捐赠给Linux Foundation。

DPAI Arena 号称是行业内首款开放式、多语言、多框架且支持多工作流的基准测试平台，其目标是评估 AI 编码智能体在实际软件工程任务中的表现。该平台依托灵活的路径式架构搭建，可针对修补、bug 修复、PR 审核、测试生成、静态分析等各类工作流开展公平且可复现的对比。

JetBrains指出，目前基准测试所采用的数据集存在过时问题，其覆盖的技术范畴较为狭窄，同时过度局限于问题到补丁这一特定工作流。鉴于AI编码工具的迅猛发展，行业内至今仍缺少一个中立且基于标准的框架，以评估这些工具对开发者工作效率的实际影响。

DPAI Arena 把可量化的工作效率引入了 AI 辅助软件开发领域。Spring Benchmark 作为该平台的首个基准，为未来的技术贡献确立了标准。一方面，它制定了数据集创建的规范，同时明确了支持的评估格式与通用规则；另一方面，它为解耦架构奠定了基础，让任何人都能以自带数据集（BYOD）的方式，复用这一架构开展自主评估。

JetBrains官方同样在关注Spring AI Bench，计划以此扩展DPAI Arena里的Java基准测试流程，并且正和该项目核心团队密切协作，以促进Java生态系统中更多样的可变性与多路径基准测试发展。

JetBrains 打算把该项目交付给 Linux Foundation，由后者组建多元包容的技术指导委员会，来明确平台未来的发展走向。