文章
@AinaPulu

AA Index v4.2:更难、更私有,Fable 与 Astra 各有胜场

私有评测权重翻倍至40%,模型排名随之有了新的解释前提。Artificial Analysis Intelligence Index v4.2中,Fable 5.1拿到57分,Astra拿到55分;拆开成绩,Fable与Opus领跑Briefcase,Astra则在GDP.pdf文档评测上占优。总榜给出综合排序,单项开始回答另一个更实际的问题:哪类工作应该交给谁。

一、尺子变化:私有评测占到40%

v4.2是迈向v5的过渡版本,方向明确:增加难度,让评测更接近现实工作。它新增私有智能体知识工作评测AA-Briefcase,以及Surge的GDP.pdf,同时移除已经趋于饱和的GPQA Diamond。

题目接近饱和后,头部模型容易挤在狭窄的分数区间,继续上涨的成绩也越来越难解释实际能力差异。引入更复杂的任务,有助于重新拉开区分度,让模型处理完整工作的能力获得更多权重。

私有评测权重由v4.1的20%提高到40%,意味着较少公开暴露的任务对总分影响更大。这个比例指指数权重,不能直接换算为题目数量。私有化可以压缩围绕公开题集反复优化的空间,但仍需持续更新题目、维护评测质量;新旧版本的总分也需要结合组成变化理解。

AA Index v4.2 评测权重表

二、Briefcase:知识工作进入核心位置

AA-Briefcase的定位是私有智能体知识工作评测,在v4.2中占15%权重。如此高的占比,使它足以明显影响总榜,也体现出指数向智能体能力倾斜的方向。

实际知识工作往往要求模型围绕同一目标处理信息、推进步骤,最后形成可用成果。中间某一步答得漂亮,只能说明局部能力;企业真正付费购买的是最终交付。这类评测的价值,在于让知识工作表现进入综合能力的核心评价范围。

这一项由Fable与Opus领跑。Astra相较Sol也取得约85 Elo的提升,说明它在这套相对评分体系中有明显进步。Elo增量不能读成成功率提高85%,也不能直接加到总榜分数上。对知识工作密集的团队,分项领先值得重视,具体收益仍取决于自身任务与评测任务的接近程度。

三、GDP.pdf:Astra的文档优势更清楚

新增的GDP.pdf来自Surge,涉及4592页文档,采用All-pass口径。它强调完整达标,因此成绩需要按全通过标准理解,而不能当作一般回答准确率。

Astra达到33.2%,Sol为28.2%,Fable 5.1为26.2%。Astra分别领先5个和7个百分点,OpenAI在这项文档评测中占据优势。这也解释了为什么综合榜首与具体工作中的优先候选可以不同:文档处理表现有自己的能力结构。

33.2%同时标出了可靠性的边界。按这一严格口径,仍有约三分之二的评测任务没有全通过。对于需要完整提取、准确理解和核验材料的业务,领先成绩值得纳入选型,但生产流程仍应保留原文定位、结果校验和必要的人工复核,尤其要检查遗漏是否会影响最终决策。

四、总榜:Anthropic占据前四中的三席

综合排名依次为:Fable 5.1以57分居首,Astra为55分,Opus 5为54分,Fable 5为53分。Anthropic拿下前四中的三个位置,说明其优势覆盖多个模型;Astra则较Sol提高4分,进入头部竞争的中心。

榜首与第二名相差2分,第二名与第三名相差1分。这些数字是加权后的指数差距,不能解读为处理任意任务时的胜率差距,也不能直接换算成生产力提升比例。

综合榜适合帮助缩小候选范围,具体选型还要重新分配权重。知识工作占主导的团队,会更看重Briefcase;大量依赖文档的团队,会更关注GDP.pdf。企业自身的任务组合通常不会恰好复现指数配方,因此总榜顺序只能提供起点,无法替代内部样本上的验收。

AA Index v4.2 总榜与成本前沿

五、成本与token:效率需要分开计算

在单任务成本与能力的帕累托前沿上,Anthropic、OpenAI、Meta和Z.AI都有位置。它表达的是不同预算下仍有竞争力的选择:在所比较的模型中,无法找到另一个选项,在能力和成本两方面同时将其压过。

Astra在接近能力前沿的位置,输出token效率尤其突出。这为它的文档成绩补上了另一层竞争力:高水平表现之外,输出消耗同样值得关注。不过,token数量与最终账单之间还隔着价格体系,较少输出也不能直接推出更低的端到端延迟。

企业预算应进一步计算每个合格交付的成本,把模型费用、工具调用、重试和人工检查一并纳入。单次调用便宜,却需要多次补救,最终可能更贵;较高的单次费用,也可能因更少返工而得到补偿。现有结果没有给出适用于所有工作流的统一回本比例。

AA Index 输出 token 效率

六、产业含义:模型采购开始按任务拆分

Briefcase与GDP.pdf的分化,为采购提供了清晰方向:知识工作优先验证Fable与Opus,文档密集任务重点验证Astra,再用真实预算约束检查其他成本前沿上的候选。

企业可以用同一批内部任务比较完整交付率、关键遗漏、复核时间和实际费用,再判断是否值得按任务分配模型。内部样本还应覆盖长材料、信息不足和要求冲突等困难情况,因为这些边界往往决定上线后的返工成本。

私有权重升至40%,也会推动竞争重心继续变化。公开题上的高分更难独自支撑能力叙事,厂商需要在较少曝光、更加完整的工作任务上证明表现。与此同时,外部榜单与企业现场之间仍有距离:权限、资料质量、工具环境和验收标准,都会改变最终结果。

七、判断:领先已经有了更具体的形状

v4.2传递了两个信号:评价体系向更难、更贴近工作的任务移动,头部模型的优势也进一步分化。Fable 5.1拥有57分的综合领先,Astra以55分紧随,并在文档全通过率和接近前沿的输出效率上形成鲜明优势。

这次升级提高了榜单筛选候选模型的价值,也提高了解读成绩的要求。40%的私有权重值得关注,15%的Briefcase权重需要纳入理解,GDP.pdf的33.2%则提醒使用者同时看到能力与失败边界。

克制的选择,是把综合排名作为候选依据,把任务成绩作为验证方向,把合格交付成本作为上线条件。Fable与Astra各有胜场,最终更有价值的领先,应当能够在企业自己的材料、流程和验收标准中重复出现。