文章
@AinaPulu

AA Intelligence Index v4.3:更难更私有,Fable 与 Astra 并列 53

两天两更:v4.2 里 Claude Fable 5.1 还以 57 分独领先 GPT-6 Astra 的 55 分;到 v4.3,两者在 Artificial Analysis Intelligence Index 上并列 53。榜首易主的主因不是模型隔夜换代,而是评测把 Terminal-Bench 升到 v4.0、用 AutomationBench-AA 替换 τ³-Banking,并把含私有题与私有答案的权重从 40% 推到 45%。

一、并列背后,先看评分尺变了

v4.3 最容易被误读成“Fable 退步、Astra 原地追平”。更准确的说法是,两家模型被放进了一把更偏向真实代理工作的尺子里。旧版分数不能直接拿来做绝对纵向比较:v4.1 时 Fable 是 66、Opus 63、Muse 62;v4.2 时 Fable 57、Astra 55。数字下降并不意味着模型能力倒退,而是题目难度、私有题比例和评分覆盖发生了变化。v4.3 的 53,首先是这一版内部的相对位置。

总榜结果仍然显示出 Anthropic 的顶端密度:Fable 5.1(max+fallback)53 分,与 Astra(max)并列;Opus 5(max)51 分,Fable 5(fallback)50 分,Muse Spark 1.3(max)48 分,GPT-5.6 Sol(max)47 分。前四个席位中,Anthropic 占据三个。表面上是 OpenAI 追平第一,结构上却是 Anthropic 依旧拥有更宽的高端产品带。

二、Terminal-Bench 4.0 与 AutomationBench-AA,把“会答题”改成“能交付”

这次最重的改动来自两个代理评测。Terminal-Bench 从 2.1 升到 4.0,使用 mini-SWE-agent harness,包含 66 道任务,每道运行三次后取平均。任务横跨软件开发、机器学习、科学计算、运维、安全、硬件和媒体,覆盖面明显超出传统代码修复题。它要求模型在终端环境中处理工具调用、文件状态、依赖关系和执行结果,最终交付一个可以验收的产物。一次偶然的成功不够,重复运行后的稳定性才会进入分数。

AutomationBench-AA 则与 Zapier 合作,替换了 τ³-Banking,使用 657 条 held-out 工作流。评分不再只看某一步是否调用成功,而是看目标完成度;只要触碰 guardrail,该题直接归零。这个设计把“完成任务”和“遵守边界”绑定在一起,避免代理为了达成表面目标而越权操作。另一个严格指标“全目标零违规完成率”因此变得有意义:它衡量的是一组目标是否全部完成,同时没有任何违规。

顶层类别权重没有变化,Agents 仍占 30%,Coding 20%,General 30%,Scientific Reasoning 20%。变化发生在类别内部的题目构成与难度,尤其是代理类和自动化类的现实约束被显著抬高。Artificial Analysis 将这看作 Index v5 计划的分批落地,先把更难、更私有的组件逐步放进现行版本,后续再继续调整。

私有题权重从 40% 提高到 45%,作用同样直接。公开题可以被反复研究,模型厂商也能围绕题型做定向优化;held-out 题和答案则更接近真实上线时的未知工作。权重提高后,榜单更难被公开数据集的熟悉度牵着走,模型在没有预先见过的长流程、跨工具任务上的差异会被放大。

三、子项胜负:Astra 赢终端与自动化,Fable 赢长程知识工作

Terminal-Bench 4.0 给出了最清晰的反转。Astra 得分 59.1%,Fable 52.0%,Opus 49.0%。Astra 相对 Sol max 的 39.9% 高约 19.2 个百分点,说明这不是靠总榜四舍五入挤出来的一分优势,而是同一实验室内部在终端代理能力上的明显代际提升。

这类任务考验的是从环境中找线索、拆解目标、连续执行、修复失败和确认结果。模型需要面对真实工具输出,而不是在干净的问答窗口里生成一段看似合理的解释。Astra 在 TB4 的领先,说明它更擅长把推理转化为连续动作,并在复杂状态变化后保持任务方向。

AutomationBench-AA 的排序也支持这一判断:Astra 68.5%,Grok 4.6 high 66.7%,GLM-5.3 62.2%。如果把“全目标零违规完成率”作为更苛刻的门槛,Astra 为 41.6%,Fable 32.1%,Opus 28.3%。这里的差距不只是速度或工具熟练度,还包含权限边界、流程完整性和对失败后果的控制。

Fable 的优势出现在另一组工作负载。官方结果显示,Fable 在 AA-Briefcase 与 SciCode 更强。AA-Briefcase 偏向多周知识工作,包含复杂资料、连续子任务和最终呈现;SciCode 则要求科学问题中的严谨推导、代码与结果验证。Fable 在这些场景里更像一个能够长时间维持上下文、打磨答案质量并处理专业细节的研究型协作者。

因此,53 分并不代表两者“什么都一样”。Astra 的胜场集中在终端操作和自动化执行,Fable 的胜场集中在知识工作与科学代码。总分把多个能力面压成一个数字,子项才说明模型适合哪一种组织流程。

四、同为 53 分,任务成本把差距重新拉开

能力榜并列之后,成本成为更实际的分水岭。Astra 平均每任务费用约 3.26 美元,Fable 约 7.63 美元,在同为 53 分的情况下,Astra 低约 57%。对于每天运行数千次的企业代理,这不是实验室里的边角差异,而是预算、并发和产品定价的基础变量。

Artificial Analysis 的 Pareto 图也呈现出类似结论:OpenAI 占据性价比前沿的大多数位置,Fable 则处在能力顶端。Pareto 前沿不是简单的“最便宜榜”或“最高分榜”,而是看一个模型是否能在成本不增加的情况下提供更高能力,或者在能力不下降的情况下减少成本。Astra 同时拿到 TB4 和 AutomationBench 的领先,再叠加较低任务费用,使它在需要频繁调用、工具链较长的生产场景里更具吸引力。

Fable 的高成本也有对应的能力来源。它在 AA-Briefcase 和 SciCode 的表现,可能更适合少量但高价值的研究、战略分析和复杂文档任务。若一次错误会让团队重新核验数小时,单任务价格并不能独立决定选择。真正需要比较的是单位预算下完成多少有效工作,以及失败后的人工复核成本。

五、开源梯队没有夺冠,却开始逼近可用区间

开源侧的分数形成了清晰的第二梯队:GLM-5.3 与 Kimi K3 约 44,GLM-5.3 Flash 42,Qwen3.8 2.4T A95B 40,DeepSeek V4 Pro 0813 max 36。它们距离 53 分的前沿仍有差距,但在 AutomationBench-AA 中,GLM-5.3 达到 62.2%,已经明显高于其总榜位置所给人的直觉。

这说明总指数和单项生产力不能互相替代。一个模型可能在通用知识、科学推理或长程呈现上失分,却在特定自动化流程里有很高的目标完成度。企业采用开源模型时,重点会从“总榜能否进前十”转向“在自己的工作流、权限体系和数据边界内能否稳定完成”。可部署性、审计能力、推理成本和微调空间,也会和公开榜单分数一起进入采购决策。

更值得关注的是,AutomationBench-AA 采用 held-out 工作流并把违规归零,这给开源模型和闭源模型都设定了更接近生产的门槛。只在公开基准上追分,未必能换来真实流程中的可靠执行;能否在未知任务上守住边界,才决定代理是否适合进入财务、运维和内部系统。

六、快变指数的正确用法:看同版相对位次,回到自己的任务

v4.3 的信息量很大,但使用边界也很明确。第一,不能把 v4.1 的 66、v4.2 的 57 和 v4.3 的 53 当成同一把尺上的连续成绩。评测池、权重和私有题比例都在变化,跨版本绝对分只会制造虚假的涨跌叙事。

第二,不能用总分替代任务匹配。需要终端操作、连续工具调用和自动化执行时,应优先看 TB4 与 AutomationBench;需要长程资料整理、科学代码和高质量呈现时,应看 AA-Briefcase 与 SciCode。第三,成本必须和失败率、人工复核以及并发需求一起计算。Astra 的 3.26 美元优势在大规模调用中会迅速放大,Fable 的能力顶端则可能在少量高价值任务上回收差价。

这次并列更像一次测量升级后的重新排位。Astra 证明自己在可执行代理和自动化上已经进入最强区间,Fable 仍然守住复杂知识工作的高地;OpenAI 拿到多数性价比前沿,Anthropic 继续占据能力顶端。随着 Index v5 的更多组件分批上线,榜单还会继续变化。稳定的判断方式,是记录每一版的评测定义,按自己的工作负载拆看子项,再把单任务成本和合规完成率放回同一张决策表里。