OpenAI Jalapeño：InferenceX 首测每瓦 1.5–1.9×
同架构上相对对比系统（GB200 / GB300），峰值吞吐下每瓦 AI 工作量约 1.5–1.9×，端到端延迟约低 1.7–3.6×——高交互负载再报约 2.1–4.1×。六月还只是「会更好」；2026-08-25 前后，自研推理硅 Jalapeño 才第一次交出可量化的效率与延迟区间——功率受限时代，定制推理加速器能不能同时抬吞吐与延迟。
一、背景：从定性官宣到首测区间
2026-06-24，OpenAI 与 Broadcom 揭开 Jalapeño（Intelligence Processor）：空白纸专为 LLM 推理，样片已按量产目标频率与功耗跑负载（含 GPT‑5.3‑Codex‑Spark）；硅与 Tomahawk 等网络侧由 Broadcom 工业化，板卡 / 机架搭档 Celestica。当时公开口径停在 early testing、每瓦 substantially better，详细数字「数月后再发」。约两个月后，Hot Chips 2026 与官网首测同步落地，SemiAnalysis 公开基准 InferenceX 成为主尺子——对方曾到实验室当面核对跑数；Jon Peddie Research、RCR Wireless、TechRadar 等同周拆规格、爬坡与「效率 vs 绝对吞吐」读法。附近 Broadcom 财报故事是 AI 半导体收入轨迹（580 / 1150 / 2300 亿那种供给锁定口径）；本篇可证伪点是 OpenAI 自研推理硅的首测效率与延迟，不是 Broadcom 收入表。
二、关键数字与口径：三组公开模型怎么读
评测覆盖 GPT‑OSS 120B、DeepSeek R1 670B（MXFP4）、Kimi K2.5 1T（MXFP4），设定 nominal 8k/1k、STP（单 token 预测）。OpenAI 明确：有时按「每芯片」报，但他们更认「每单位功耗」；并用各加速器公开发布的封装功耗额定值归一——Jalapeño 700 W（实测持续功耗 ≤ 550 W），对比侧 GB200 1,200 W、GB300 1,400 W。官网附录峰值点：GPT‑OSS 对 GB200，峰值混合 TPS/kW 约 85,448 vs 44,960（≈1.9×），端到端延迟 1.03 s vs 1.80 s（≈1.7×），最低 TBT 约 0.69 vs 1.87 ms（≈2.7×），且在对比侧「此前最佳 TBT」点上吞吐可抬到约 53.7×；DeepSeek R1 对 GB300，约 1.7× 每瓦吞吐、延迟 1.65 s vs 5.99 s（≈3.6×）、最低 TBT 约 4.1×（约 700 vs 169 tok/s/user），同口径「此前 TBT」吞吐约 104.3×；最大公开模型 Kimi K2.5 对 GB300，约 1.5× 每瓦峰值、延迟 1.56 s vs 5.31 s（≈3.4×）。公司强调现有硬件常在吞吐与延迟间二选一，Jalapeño 想用同一架构两边同时抬，并称三条公开曲线都落在 Pareto frontier；内部测试还说在 OpenAI 前沿模型上优势会再拉开。SemiAnalysis 另给「每 MW 有用 token」叙事：OpenAI 当前更受限的是功率而非预算或机房面积——与 Jensen 在 Computex / Hot Chips 上「data center is power-limited」同向；他们还写明亮眼点未开 multi-token prediction、speculative decoding，也未做 prefill–decode 拆分，而对比曲线上不少竞品最佳点用了 MTP。
三、机制差异：为何不做拆分池，以及架构怎么拆
设计问题写得很工程：若主业是服务现代与未来 LLM——尤其交互式 agent——空白纸该怎么做芯片？推理分相：prefill 处理提示偏算力，decode 逐 token 生成更卡内存带宽；核间 / 片间通信还会让单元空等。Jalapeño 的对策是少搬数据：把含 KV cache 在内的模型状态显式就近放置并尽量留在本地，按推理相位激活算力 / 内存 / 网络组合；网络做成大域一体，让完整请求尽量留在同一连接系统内。SemiAnalysis 进一步拆过切片结构——核与 HBM 分片，每片核有对本片 HBM 的低延迟本地视图，片间同步走专用集合通信网络；OoO 核 + L1 取代 GPU/TPU 常见的软件管理 scratchpad，目标是压掉固定开销，让小 batch / 低并发也能更靠近 roofline。Hot Chips 与多家技术报道转述的封装侧：约 216 GiB HBM4、带宽约 15.4 TB/s（HBM4 约 10 Gbps pin，相对同代 HBM3E 竞品更吃「每瓦带宽」）；B0 转述为 TSMC N3P、单 die 约 13.4 PFLOPs MXFP4，相对 Rubin 单 die dense NVFP4 约 17.5 PFLOPs、但 TDP 仅 700 W vs Rubin 约 900–1,150 W。另一个刻意选择是：不做 prefill–decode 异构拆分池。SemiAnalysis 解释得很直：生产流量的输入输出比、缓存命中、投机接受率会全天漂移；把硅拆成两池，某一相突然变多就会让另一池空转，还要把 KV 跨网搬给 decode——对 agent 负载尤其伤。OpenAI 选同质池、让同一架构在 prefill 与 decode 之间可调。开发侧同样是全栈闭环：OpenAI 称 AI 辅助把初设到 tape-out 压到约 九个月（SemiAnalysis 另记 mid-2024 建队到 tape-out 约 16 个月、CoWoS 约 2025-11）；用 Codex + GPT‑Astra，三个原先不在量产计划里的开源权重模型约两月内拉到高性能；部分 GPT‑OSS attention / MoE 块的 AI 实现相对人工专家版快约 1.5–1.8×（局部块，不是整模）。机架侧（SemiAnalysis）：约 128 加速器/机架、可扩到约 2,048 芯片域，Vindaloo / Katsu / Chana 与 Celestica 系统侧搭档 Tomahawk 6——这是「芯片结果」背后的系统故事。
四、边界与争议：额定 TDP、STP、Rubin，以及样片→规模
数字来自公司在 InferenceX 上的实测披露，对比归一用的是额定封装功耗。Jalapeño 实测持续功耗更低（≤550 W），但官方未对等给出对比系统的实测瓦数——若用实测瓦数重算，倍数区间会移动，这是读图时最该先钉死的 caveat。TechRadar 等还指出：叙事中心是效率，绝对吞吐/封装上 GB300 仍可领先约 20–25%；公司自己也选择用「每千瓦」而不是「每芯片」当主叙事。另有几条硬边界：当前公开是 8k/1k 单轮，SemiAnalysis 更看重的 AgentX（长上下文、多轮、更吃路由与 prefix cache）尚未放出——在 8k1k 上漂亮的栈，到真实 agent 流量未必同幅度领先；Vera Rubin（同代 HBM4）才是更贴近的下一拍对照——SemiAnalysis 称在 tok/MW 上 Jalapeño 的 STP 结果可压过 Rubin 7 月公开 MTP 点，TCO/每美元 token 则大致打平，且 Jalapeño 尚未吃到 speculative decoding 的成本红利（估算投机解码可再压约 3–5× 每 token 成本），意味着还有余量。硅与节奏：首测多在 A0 样片；B0 已在 fab，约再抬 ~25% 每瓦表现。官方路线图：计划年底前开始在 OpenAI 自有算力里部署；这是多代平台第一代——Gen 2 已深入开发，Gen 3 在成形。生产爬坡多指向 2027 渐进起量（年底小批量验证 → 翌年规模；SemiAnalysis / RCR 亦指向 100 MW 近阶目标时，瓶颈更多是制造与机房运营而非「会不会跑分」）。同时写明：训练与推理仍会继续大规模采购 NVIDIA 及其他伙伴加速器。Sarah Friar 同日全栈文把组合拳写得更直：Microsoft / NVIDIA 仍是基础盘，组合里还有 AWS、AMD、Broadcom、Cerebras、CoreWeave、Oracle、SB Energy、SoftBank 等——Jalapeño 是「可信的第一方路径」，用来按负载把工作量配到最强性价比系统，不是「立刻取代」叙事。
五、产业含义：效率飞轮 vs 另一条供给曲线
对 AI 基建读者，价值在于 OpenAI 把模型—服务软件—芯片—内存—网络—机架写成同一条效率飞轮：同样功率与硬件下挤出更多「有用智能」，才谈得上服务更多需求、压低成功交付成本、改善经营杠杆。对半导体读者，Broadcom 定制硅 + Celestica 系统侧，是跟「通用 GPU 货架」并行的另一条供给曲线——跟看 Broadcom 收入表时的 XPU 客户逻辑同源，但可证伪点落在 InferenceX 区间与 Hot Chips 规格，而不是 FY2028 收入指引。Jon Peddie 的判断更硬：第一代就在每瓦上能跟 merchant silicon 对打，问号不再是「能不能做出来」，而是制造与数据中心部署能不能在 Rubin 软件成熟前爬到有意义的规模；若 Gen 2 / Gen 3 轨迹站住，大模型实验室会从「NVIDIA 客户」部分变成「同负载上的竞争者」——至少在自有推理流量上改写谁拿走基础设施利润。SemiAnalysis 甚至用「CUDA moat 可能被硬软协同速度重新定价」来读这次 bring-up：不是说硬件必然更强，而是从零开始的软件栈有时反而能更快贴住样片。
六、简要判断
增量不在又一次「自研芯片官宣」，而在 InferenceX 首测区间：每瓦工作量 1.5–1.9×、端到端延迟 1.7–3.6×（高交互约 2.1–4.1×），外加 700 W 额定 / ≤550 W 实测这一对功耗锚点，以及附录里 GPT‑OSS / R1 / Kimi 三组峰值点与「匹配 TBT 时吞吐暴增」的操作点。把六月定性官宣、Broadcom 收入叙事、以及「额定 TDP 归一 / STP·未开投机解码 / 8k1k 单轮 / A0→B0→2027 爬坡 / 尚未 AgentX·Rubin 公平对照」几条边界拆开，数字才站得住。下一步更值得盯：年底内部部署是否按期、AgentX 与 Rubin 公平对照何时放出、Gen 2 相对今天这组首测如何抬、规模化与真实流量下每瓦优势还能否在功耗配给里站住——以及第一方硅上量后，NVIDIA 采购结构会怎么重配，而不是会不会「归零」。