文章
@AinaPulu

Astra × ARC-AGI-3：同模型两套 harness，差出近 37 分

AinaPulu
@AinaPulu · 上午 7:40 · 2026年9月7日
在 X 查看

同权重、同基准：ARC Prize Standard harness 报 62.7% / 约 $26K，OpenAI Provider Adapter 报 99.9% / 约 $19K——近 37 分差改写的不是「又发了个旗舰」，而是 agent 脚手架与状态保持如何改写 AGI 叙事；ARC Prize 明确写：不认这是 AGI。

一、两套 harness，两个问题

ARC-AGI-3 测的是交互式智能：陌生、抽象、回合制环境里，没有说明书、没有显式目标，agent 必须自己探索、推断目标、把观察压成可预测未来的内部模型，再规划与纠错。人类在受控测试里可解 100% 环境；系列目标是度量「当前 AI 与 AGI 之间的残差」——AGI 被他们定义为：能以人类效率习得人类能学的任何技能。它测四块：探索、建模、目标设定、规划执行——不是聊天分数，也不是刷静态题库。相对 ARC-AGI-1/2 的静态抽象谜题，第三代把「互动中合成因果世界模型」推到前台。 ARC Prize 在 2026-09-03 博客把评测拆成两道题。Standard harness（供应商中立、最小接口）：信息给够，但模型必须自己决定把什么写进可见笔记并跨步携带——基金会认为，未来真正的 AGI 应能在这种条件下过关，也便于跨厂商苹果对苹果。Provider Adapter harness：允许使用厂商为自己模型设计的上下文管理——对 Astra 而言，就是在请求之间保留不透明推理状态（评测方看不见），并用 compaction 管理长对话，从而复用先前工作。两套都会继续上榜，条件标签写清；开源测试仓与政策文档同时描述两条路径。 OpenAI 官网评测表打印的是 99.9%，脚注写明：ARC-AGI-3 用了 Responses API harness，改了两项设置「以更贴近真实表现」，并称「并非专门针对 ARC-AGI-3」。同表旁并排的 GPT-5.6 Sol 7.8%、Claude Opus 5 30.2%，来自 Standard 口径——传播里最火的「99.9 vs 7.8」其实不是同一套脚手架。The Next Web 纠正：like-for-like 是 62.7% vs 7.8%——仍是巨大跃迁，但不是官网表上那条跨脚手架对比。结果页还给出 ARC-AGI-1/2 高分（如 max 上约 97.5% / 95.0%），说明旧代基准已近饱和；真正拉开叙事的是第三代双 harness。

二、硬表：脚手架压过推理拨盘

Semi-Private 上，ARC Prize 全表（推理档 × 两套 harness）把机制钉死：

  • Standard / max：62.7%，$26,098（最佳 Standard）
  • Provider Adapter / high：99.9%，$18,817（最佳 Adapter；结果页精确到 99.95%）
  • Adapter / max：98.6%，$17,332；xhigh：98.4% / $18,147；medium：98.4% / $19,285；low：98.0% / $21,298；none：96.7% / $23,457
  • Standard 对照：xhigh 59.3% / $37,317；high 54.8% / $40,705；medium 38.6% / $48,090；low 17.5% / $38,166；none 35.2% / $49,791 最刺眼的一行：Adapter 在 reasoning=none 仍拿 96.7%——比 Standard 开到 max 的 62.7% 还高约 34 分，且更便宜。The New Stack 的标题句几乎可当钩子：脚手架直接压过推理拨盘。效率也跟脚手架走：两边都解出的 167 个 game–reasoning 对上，Adapter 合计耗时约 3.66× 更快、总 token 少约 49%。更高推理档往往更便宜——Astra 用更少动作解关，模型调用与 token 总量下降；Standard 从 none 约 $50K 降到 max 约 $26K，就是这条机制。IQ Metrics 也强调：none 档 96.7% vs 35.2% 的反差，是「状态保持在干活」的最干净证据之一。有趣的是 Standard 的 low（17.5%） 比 none（35.2%） 更差——基金会未单独解释，但提示「开低档推理」不等于单调更好。 人类对照的金钱口径别误读：受控被试约 $115 / 90 分钟 + 每过一关 $5，约九关会话折合约 $12.78 / 尝试关——主要买时间与意愿；若只把脑代谢功率按电价折（约 20 W、$0.20/kWh），基金会估到约 0.067 美分 / 尝试关。AI 侧报的是 API/算力账单，不是「脑电等价」。

三、动作效率：第一次压过人类中位

比完成率更值得盯的，是 action efficiency。发布前约 500 名普通公众（未筛谜题经验）建人类基线：每个关卡用「解出者的动作次数中位数」作参照。在 Provider Adapter、Astra max 上：对 96.0% 的关卡，动作数少于人类中位；平均每关少约 51.7% 动作。这是第二条轴——测「理解环境需要多少互动经验」，不是算力账单。组织方原假设：即便 AI 能解，探索步数仍会远高于人。对暴力搜索仍成立；对前沿模型，他们看到更接近二元的模式——一旦摸清机制，执行往往落进人类效率带。OpenAI 官宣也引用「96% 关卡超过人类动作效率基线」；但「效率 parity」≠ AGI 证明，下一节边界必须一起读。多数基准只报成本效率；ARC-AGI-3 坚持把动作效率并列——完成率只告诉你「过了」，不告诉你「学得有多贵」。

四、符号世界模型：笔记、DSL、工具库

回放显示 Astra 会把陌生机制压成紧凑符号工作模型。它自选携带的策略笔记里，出现现场发明的代数式速记：关卡与机构长度（如 L8: hub q2 (8↓). Lengths: 14=1…）、有序机构操作（extend8 to3; retract10 to2; shorten8 to1）、控件坐标映射（9−=(39,4), rotate=(49,18)…）、回合位姿（Turn 5: P=(24,20), empty, facing west）。François Chollet 称之为高效的 on-the-fly symbolic world modeling，并点出：以往多见于复杂 harness 的符号建模行为，正越来越多沉进模型本身——但 Standard 下「没写入可见笔记就丢失」，仍把状态管理能力暴露得更硬。这也解释了为何 Adapter 的不透明状态保留会如此放大分数：同一套「会建模」的能力，在不同记忆通道上被放大或打折。 第三套环境 PRO-LONG（早期红队伙伴）给了代码沙箱：Astra 会为每局写小板库——棋盘解析、状态模型、搜索与规划、持久笔记；迷宫关 tu93（守卫与巡逻）上先后长出 maze_solver.py / combat_solver.py / patrol_solver.py / sync_state.py，用预测对照观察。基金会写明：这是模型+自建工具的联合成绩，人类被试没有解释器与便签，不可与人类条件直接横比；沙箱逃逸未观察到。THE DECODER 还记下：Standard 上 Astra 62.7% vs Sol ~7.8%、Opus 5 ~30.2%——即便去掉 Adapter，权重代际跃迁也真实存在；争议点是「哪张海报」被拿去讲 AGI。与 GPT-5.6 Sol 时代的 harness 争议一脉相承：基金会坚持可比锚必须是 Standard。

五、和发布稿差在哪：叙事边界与产业读法

已发的 Astra 发布稿讲 computer use、编码/科研代理与安全分层；本篇只钉 ARC-AGI-3 双 harness。传播层常把 99.9% 与 Sol 7.8% 并排成「跃进」；可比锚是 62.7% vs 7.8%。ARC Prize 原文写：饱和基准不代表「证明达到 AGI」；Astra 是泛化上的可观进步，但环境是短时标、确定性、封闭目标的小尺度测试，不代表开放现实世界的复杂度。Chollet 称进展「约快一倍」于先前饱和预期，AGI 时间表可能提前，同时重复：解饱和不是终点线；ARC-AGI-4 已在研，指向约 2027Q1，或纳入递归自我改进与开放创新等更难问题。Mike Knoop 侧也有「尚缺证据称 AGI」的公开表述。The Next Web 还记下媒体侧数字漂移与「benchmaxxing」讨论——本文以 ARC Prize 博客/结果页与 OpenAI 脚注为锚，不把事后改数当主线。 产业侧，The New Stack 把同一反差接到 harness engineering：Artificial Analysis Coding Agent Index 已在测「模型×自家 harness」对（Astra/Codex 约 67，Fable 5.1/Claude Code 约 70）；Anthropic/Google/Microsoft 都在卖会话、记忆、代码执行与可观测性（计价方式不同）；Stripe 收购 OpenRouter 被读成买「模型前的路由层」。NVIDIA 侧 AVO 等脚手架曾把 Opus 5 从公开集约 30.2% 推到清关叙事——变量更多，不能当干净 A/B，但方向一致：能力在权重里，持续自治进度往往在系统里。Adapter 用的是文档化 Responses API 能力，开发者可调用；但货架上卖的是模型，刷出 99.9% 的是组装系统。

六、简要判断

可转发的不是「Astra 接近 AGI」，而是：同模型两套状态保持规则，就能差出近 37 分，且高分那侧更便宜——评测在测系统，发布稿在卖模型。对跟模型的人：Standard 62.7% 才是跨厂商可比锚；Adapter 99.9% 回答的是「配上原厂上下文管理能有多强」；动作效率 96% 关卡压过人类中位，说明「会玩」之外还有「少走弯路」。对跟 agent 产品的人：记忆什么、压缩什么、何时人在环，正在变成与选模型同级的工程与定价面。对跟治理叙事的人：ARC Prize 已写明不认 AGI；下一拍看双栏榜是否成常态、ARC-AGI-4 如何重画残差——而不是把单一 harness 上的饱和误读成终点。