
AA Index v4.2:更难更私有,Fable 与 Astra 各有胜场
Artificial Analysis 在 2026-09-04 发布 Intelligence Index v4.2。这不是一次装饰性微调,而是把原计划落在 v5 里的若干能力提前上线:任务更接近真实知识工作,私有 held-out 权重加倍,并换掉已经饱和的公开题。距 Index v4(2026 年 1 月)大约八个月;官方明确说,近几周前沿推进太快,需要一次中期更新,以免榜单跟不上模型。 官方总榜上,Claude Fable 5.1(max with fallback)以 57 分居首,GPT-6 Astra(max)以 55 分紧随其后,较 GPT-5.6 Sol(51)高约 4 分。第三实验室位次落到 Meta(Muse Spark 1.3 约 53);SpaceXAI(xAI)的 Grok 4.6 约 51;Google 的 Gemini 3.8 Flash 在 v4.2 口径下约 47(Flash 档位置清晰,不宜直接拿去和上一版 Index 分数横比)。
一、v4.2 改了什么
变更可以压成四条:
- + AA-Briefcase:AA 自研的 agentic 知识工作评测,测试集私有 held-out。设定是行业专家搭好的多周项目——多任务串联、输入源文件可达数千;评分把可验证任务成功、分析质量与呈现质量放在同一套 rubric + pairwise 框架里。
- + Surge AI 的 GDP.pdf:单轮专业文档推理。100 份 PDF、10 个领域、合计 4,592 页,证据散落在正文、表格、图表、脚注与排除项里;对照 1,275 条专家原子标准打分。头条指标 All-pass Rate 只在「每一条标准都过」时才记成功——偏严,也更像真实交付。
- − GPQA Diamond:科学推理题质量很高,但已被刷满,继续占权重意义不大。
- 私有权重到 40%:较 v4.1 翻倍。held-out 池包括 AA-Briefcase、AA-Omniscience,以及 CritPt 的解题侧。官方的意图写得很直白:降低实验室对着公开题「对答案」的空间;v5 还会再抬这一比例。
评分基础设施也动了刀:
AA-LCR v1.1补了 grading system prompt、修正答案键歧义;GDPval-AA v2与 AA-Briefcase 改进采样并重锚定 Elo;SciCode 沙箱更耐「慢但正确」的提交,避免把超时误判成失败。 权重表本身也说明叙事重心:Agents 合计约 30%(其中 AA-Briefcase 单列 15%),General 约 30%(GDP.pdf 与 Omniscience 等),Coding / Scientific Reasoning 各约 20%。榜单更像在问「能不能把复杂项目做完」,而不是「还会不会答公开选择题」。
二、总榜:Anthropic 微领先,OpenAI 紧贴
v4.2 总榜的第一梯队很挤:
| 模型 | Index(官方图) | 实验室 |
|---|---|---|
| Claude Fable 5.1 (max with fallback) | 57 | Anthropic |
| GPT-6 Astra (max) | 55 | OpenAI |
| Claude Opus 5 (max) | 54 | Anthropic |
| Claude Fable 5 / Muse Spark 1.3 | 53 | Anthropic / Meta |
| GPT-5.6 Sol / Grok 4.6 | 51 | OpenAI / SpaceXAI |
| Gemini 3.8 Flash (high) | 47 | |
| 读法上有两点值得记住。其一,v4.2 任务更重、私有题更多,绝对分与旧版 Index 不可直接纵向对比;要比的是同版相对位次。其二,Cost per Task 的 Pareto 前沿由 Anthropic、OpenAI、Meta、Z.AI 四家共同占据——本文不展开 Z.AI 产品线,只保留官方对前沿形状的这一句描述。 |
三、AA-Briefcase:Fable / Opus 领先,Astra 相对 Sol 抬升明显
在最能代表「多周知识工作」的 AA-Briefcase Elo 上,Anthropic 仍压在最上面:Fable 5.1 约 1666,Opus 5 约 1650;其后是 Astra 约 1565、Muse Spark 1.3 约 1560,Grok 4.6 约 1540。相对前代,Astra 对 Sol(约 1481)大约高出 ~85 Elo——这是同实验室代际差,比「谁暂时第一」更有信息量。 Gemini 3.8 Flash 在该榜大约 1206,与旗舰档仍有一段距离;它在总 Index 与成本曲线上的价值,更多体现在 Flash 价位的性价比,而不是 Briefcase 这种重代理任务的绝对分。
四、GDP.pdf:Astra 的文档综合更完整
换到 GDP.pdf 的 All-pass,故事反过来:OpenAI 领跑。Astra 33.2%,Sol 28.2%,Fable 5.1 26.2%。差距不大,但方向稳定——在「跨近五千页材料、且每条原子标准都要过」的设定下,Astra 更常交出可完整验收的答案。 这和 Briefcase 的分工很清楚:Briefcase 偏多步代理与呈现;GDP.pdf 偏单轮、长上下文、证据综合。两套题同时进 Index,正好避免单一任务形态绑架总榜。
五、Token 效率与简要判断
官方还给出了 Intelligence Index 相对「每任务输出 token」的散点。靠近前沿时,GPT-6 Astra 几乎主导了高分且低 token 的一侧;曲线两端则能看到 Claude Fable 5.1(高智力、token 更重)。 v4.2 的价值不在多几个百分点,而在榜单提问方式变了:私有题权重到 40%,Briefcase 与 GDP.pdf 把「能做完复杂项目」和「能在长文档上一次交卷」同时写进总分。当前公开结果里,Fable 5.1 拿总榜与 Briefcase,Astra 拿 GDP.pdf 与近前沿 token 效率,并在总榜上距第一仅约 2 分、相对 Sol 明显抬升。 后续 AA 还预告会继续向 Index v5 做增量发布。对使用者而言,更务实的读法是:同一版 Index 内看相对位次与分项胜场,并把自己的工作负载对齐到 Briefcase 或 GDP.pdf 那一类,而不是跨版本追绝对分。