伯克利RDI发布Agents' Last Exam基准
阅读原文· rdi.berkeley.edu在Fable 5发布后，Berkeley的ALE基准首次大规模量化了agent在专业任务上的真实水平，最难任务0%成功率的结果值得所有押注agent落地的团队冷静下来。
2026年6月，伯克利RDI发布Agents’ Last Exam（ALE）基准，包含1,500余项源于真实工作的任务，覆盖55个非体力职业。对Fable 5、GPT-5.5、Composer 2.5等前沿智能体的测评显示：在最困难层级成功率均为0%；整体任务表现接近，但单任务成本差异巨大（Fable 5约$15.70，GPT-5.5约$3.80，Composer 2.5约$1.33）。CLI子集ALE-CLI最佳通过率仅25.2%。主要失败模式是智能体未验证输出即宣称完成。数据集、代码及CLI子集已开源。
人人都说最新的 AI 智能体很快就能“胜任工作”，尤其是在上周 Fable 5 发布之后。但事实果真如此吗？
过去几个月里，Berkeley RDI 一直在构建“智能体终极考试”（Agents’ Last Exam，简称 ALE），这是一个旨在检验上述说法在真实数字劳动力市场工作中是否成立的基准测试。通过 ALE，我们评估了 Fable 5、GPT-5.5、Composer 2.5 以及其他前沿智能体系统，测试任务超过 1500 个，均由专家提供，涵盖 55 个职业。结果既令人印象深刻，也发人深省。如今的智能体能够解决相当一部分专业任务。然而，当我们审视那些需要持续推理、深厚领域知识以及长期可靠执行的最困难任务时，它们距离人类水平的表现仍然相去甚远。在 ALE 最难的任务层级中，我们测试的所有前沿智能体，包括 Fable 5，成功率均为 0%。
实用智能体的时代已经到来。但真正能胜任工作的智能体时代，尚未到来。
我们希望“智能体终极考试”（ALE）能成为一个新的路标和北极星，指引我们开发出能够在广泛领域内可靠执行具有经济价值工作的智能体。
ALE 基于真实工作构建，而非合成任务
每个任务都源自人类专家此前完成过的真实项目，并被转化为可验证的评估，配有客观评分。没有主观判断，没有人类评审员。完全可复现。
ALE 涵盖 55 个非体力职业，以美国联邦职业分类体系 O*NET / SOC 2018 为基础。它由来自 100 多家机构的 300 多位专家共同构建，这些专家来自科学、工程、医学、法律、金融、教育以及众多其他领域。
ALE 与现有的智能体基准测试相比如何？
随着前沿系统的进步，当今许多智能体基准测试正在迅速饱和。ALE 旨在衡量一个不同的能力前沿：在真实世界专业领域中，持续且具有经济价值的工作。
- 55 个行业领域
- 1500 多个专家来源的任务
- 完整的图形用户界面 + 命令行界面环境
- 基于结果、可验证的评估
如果你的智能体只在终端中运行，我们也发布了 ALE-CLI，这是该基准测试的纯 CLI 子集。与 Terminal-Bench 和 SWE-bench-Pro 相比，它的覆盖面更广（任务涵盖 ALE 55 个行业子领域中的 40 个，而后者分别只有 6 个和 5 个）、时间跨度更长（人类完成时间从数小时到数周不等，而非数分钟或数天）、难度也更高（最佳智能体通过率仅为 25.2%，而 Terminal-Bench 为 82.0%，SWE-bench-Pro 为 59.1%）。还有很大的提升空间。
性能只是故事的一半
在 ALE 中，Fable 5 与 GPT-5.5 和 Composer 2.5 处于相同的整体性能集群中。但每项任务的成本差异显著：
→ Fable 5：约 15.70 美元 → GPT-5.5：约 3.80 美元 → Composer 2.5：约 1.33 美元
按当前定价，Fable 5 在提供相似性能的同时，每完成一项任务的成本大约高出 4 到 12 倍。
为什么 ALE 的结果看起来与其他一些基准测试不同？
因为不存在普遍最优的智能体。包括 Fable 5 在内的每一个前沿模型，都有其擅长的领域和表现不佳的领域。综合得分平均了 55 个职业和 1500 多项任务，导致许多模型得分相近。但平均值并非故事的全貌。真正的信号在于智能体在哪些地方成功、在哪些地方失败，以及这些模式在不同领域间的差异。在相同的任务上，不同模型失败的原因往往大相径庭。
最常见的失败模式依然是我们熟悉的那一种：智能体在真正验证其工作成果之前就宣布成功。典型的完成报告是：“完成。所有检查通过。”然而，输出结果可能缺少必需文件、包含错误计数、遗漏关键字段，或违反了任务规范中的明确约束条件。这类失败的发生频率远超许多人的预期。
在我们的博客中探索交互式细分和具体示例 → https://agents-last-exam.org/blogs/agent-showdown
为什么叫“最后考试”？
“最后考试”这个名字，既反映了衡量具有经济价值工作所需达到的门槛，也代表了真实、复杂、长周期任务难度的前沿。虽然实用智能体的时代已经到来，但真正能胜任工作的智能体时代尚未降临。
我们希望《智能体终极考试》（ALE）能成为新的路标和北极星，指引我们开发出能够在广泛领域内可靠执行具有经济价值工作的智能体。
快来用 ALE 测试你的智能体
- 网站：https://agents-last-exam.org
- 任务：https://agents-last-exam.org/demo
- 排行榜：https://agents-last-exam.org/leaderboard
- 论文：https://arxiv.org/abs/2606.05405
- 数据集：https://huggingface.co/datasets/agents-last-exam/agents-last-exam
- 代码：https://github.com/rdi-berkeley/agents-last-exam
加入我们
为了推动这一前沿发展，我们欢迎贡献者通过提交任务和推荐领域专家来帮助构建下一版本的基准测试（贡献者将被邀请作为合著者加入）。了解如何贡献，请访问 https://agents-last-exam.org/submit，并在 https://agents-last-exam.org 探索排行榜、论文和演示。