Google Ironwood 的推理经济学：InferenceX 首测与 TorchTPU 开源窗口

单芯片吞吐领先约5%，每美元可获得的吞吐却能领先约50%。Google 第七代 TPU Ironwood 的第三方推理测试，把竞争焦点推向了一个更接近采购决策的问题：在满足相同服务速度的前提下，处理这些 token 究竟要花多少钱？

硬件经济性已经出现可量化的优势，软件则进入新的交付窗口。TorchTPU 从私测走向开源，将影响这些优势有多容易被 Google 之外的开发者采用。

一、第三方首测，让外部客户有了比较尺度

2026-09-07，SemiAnalysis 发布 [InferenceX Official Preview](https://newsletter.semianalysis.com/p/tpu-inferencex-full-steam)，公布 TPUv7 Ironwood 的首批第三方公开推理测试结果。过去，市场可以看到 Google 的芯片规格、内部应用和大客户采购；现在，外部用户开始能够沿着具体的服务速度与成本曲线，比较 Ironwood 和 NVIDIA B200、B300。

首轮直接对照有明确条件：FP8 精度、聚合式服务，以及单 token 预测。聚合式服务指输入处理的 prefill 与逐步生成的 decode 共用部署资源，区别于将两个阶段拆开部署的分离式服务。精度和服务方式对齐，才能判断差距来自哪里。

Google 以 Qwen3.5 397B FP8 作为初始 bring-up 工作负载，用来打通模型、算子、编译和服务链路。这一选择限定了首轮测试覆盖的范围；其他模型、上下文长度和请求分布，仍需要各自的测量。

InferenceX 的公开方法还强调，通过 GitHub Actions 保留测试配方、运行日志和产物。对采购方而言，具体配置与运行记录的价值，在于能够追问一个结果如何产生，以及自己的负载能否接近那个结果。

二、50%的性价比，怎样从成本模型里算出来

在每用户每秒生成100个 token 的交互速度下，SemiAnalysis 给出的每百万总 token 成本为：Ironwood 约0.181美元，B200 约0.222美元，B300 约0.276美元。按报告的概括，Ironwood 分别便宜约19%和34%。

这里采用的是 total tokens 统计口径，以及测试对应的小时成本模型。它衡量部署系统处理工作负载的经济性，不能直接当作 Google Cloud 向所有客户提供的模型 API 报价。

“成本降低”与“性价比提高”的百分比也不同。用上述数值计算，相对 B300，每百万 token 成本下降约34%，对应每美元可处理的 token 增加约52%；相对 B200，每美元处理量增加约23%。这为“约50%性价比优势”提供了一个具体的观察点。

把交互速度降到每用户20 token/s，Ironwood 的总吞吐达到每芯片9,364 token/s，B200 为8,903，B300 为8,925。单看吞吐，Ironwood 对两者的领先都只有约5%；结合更低的建模小时成本，每美元吞吐优势分别扩大到50.4%和96%。

这组数字揭示了成本结构的作用：吞吐的小幅领先，可以在较低的小时成本上放大成明显的经济优势。但50%、96%分别对应具体比较对象和运行点，不能拼成一条覆盖所有延迟区间的领先结论。

外部客户最终获得的优势，还取决于合同价格、容量承诺和实际利用率。SemiAnalysis 另外讨论的 Google 内部每芯片小时1.03美元成本情形，也应保留其内部总拥有成本口径，不能替代客户报价。

三、Ironwood 的硬件基础：内存、互联与设备粒度

Google 在 [Ironwood 发布说明](https://blog.google/innovation-and-ai/infrastructure-and-cloud/google-cloud/ironwood-tpu-age-of-inference/)中，将它定位为第七代 TPU，并突出面向推理的设计。按照官方发布口径，每芯片 FP8 峰值算力为4,614 TFLOPs，配备192GB HBM，内存带宽为7.37TB/s；完整 pod 可扩展到9,216颗芯片，合计约42.5 FP8 EFLOPS。

Google 同时宣称，Ironwood 每瓦性能达到上一代 Trillium 的2倍。这是相对 Google 上一代产品的官方指标，具体推理服务的能效仍需结合负载测量。

对解码密集型服务而言，HBM 容量影响权重与 KV cache 的容纳空间，带宽影响数据供给速度，互联则影响跨芯片切分与通信。峰值算力只有与这些条件共同发挥作用，才会转化为有效吞吐。满 pod 的理论能力，也需要通过具体部署中的通信效率与调度利用率兑现。

[Google Cloud TPU7x 文档](https://docs.cloud.google.com/tpu/docs/tpu7x)还给出一个容易影响工程核算的细节：Ironwood 采用双 chiplet 设计，两部分各有独立内存空间；JAX 等框架会把一颗物理芯片呈现为两个逻辑设备。

因此，设备数、芯片数和每芯片性能必须区分。模型切分也需要理解两个 chiplet 的内存与通信关系，不能因为封装层面写着192GB，就忽略软件实际面对的设备边界。

四、TorchTPU 把竞争推进到开发者工作流

Google 早已通过云服务向外提供 TPU。Ironwood 阶段的新进展，是第三方推理比较、完整系统商业化，以及主流开发框架的适配开始共同推进。

软件路径正在变化。按照 SemiAnalysis 的梳理，vLLM 的 TPU 支持经历了 PyTorch/XLA 原型、采用 JAX/TorchAX 的公开服务栈，现在转向 TorchTPU。新的方向通过 PyTorch 的后端扩展机制，把 TPU 作为原生设备接入，替代依赖 TorchAX 的衔接路径。

这直接关系到迁移成本。大量推理团队已经围绕 PyTorch、vLLM 或 SGLang 建立模型接入、调度和运维流程。如果 TPU 能进入这些日常工作流，团队就更容易用自己的负载评估它，而不必先承担一整套工具迁移。

SemiAnalysis 报道，TorchTPU 在9月初仍处于私测，预计约10月中旬开源；Google 正与 Inferact、RadixArk、Red Hat 等合作，推动 vLLM 和 SGLang 的 TPU 后端成为一等公民。

[PyTorch 基金会公布的会议议程](https://pytorch.org/blog/agentic-ai-and-next-gen-intelligence-sessions-at-pytorch-conference-north-america-2026/)提供了另一条时间线：10月20日至21日举行的大会，已安排 Google 围绕 TorchTPU 开源与 GPU 到 TPU 工作负载迁移的演讲。公开信息指向10月窗口，实际发布日期和功能范围仍以代码发布为准。

CUDA 的优势还包括算子覆盖、调试工具、性能分析与长期积累的工程经验。TorchTPU 改善的是重要的框架入口，底层编译器、运行时和通信组件仍需分别评估。SemiAnalysis 此前对 TPU 生态的梳理，也指出了这些环节在开放程度与文档上的缺口。

五、FP4、分离式服务与首字延迟，会改变排名

Ironwood 的 FP8 成绩需要与三个边界一起理解。

精度方面，TPUv7 没有原生 FP4 计算能力。SemiAnalysis 指出，当 NVIDIA GPU 使用 FP4 时，仍能保持性能或经济性领先，同时需要评估相对 FP8 的量化质量损失。其列出的 TPUv8i 路线图才补入原生 FP4 支持，这项未来能力不能提前算到 Ironwood 身上。

服务架构方面，当前外部 TPU 栈尚未具备充分优化的 prefill/decode 分离路径。Google 内部已有相关实践，面向外部客户的软件交付与调优仍在推进。

当对照切换为 GB300 NVL72 的分离式服务与 TPUv7 的聚合式服务，SemiAnalysis 给出的曲线中段显示，GB300 约有30%的性价比优势。两个阶段对计算、带宽和批处理的需求不同，分离部署能够分别优化，也会引入 KV cache 传输与额外调度成本。

这种比较回答的是客户今天能拿到怎样的系统组合。SemiAnalysis 看好 TPU 分离式服务优化后的竞争力，但完整曲线如何变化，需要等待新的实测。

延迟方面，每用户100 token/s 衡量的是开始输出后的生成速度，无法代替首字延迟 TTFT。在并发数256的测试点，Ironwood 平均 TTFT 为5.41秒，B200 为3.75秒，B300 为2.40秒。较高吞吐对应的等待时间，对交互式应用可能非常重要。

同样，在中位端到端响应时间20秒的比较点，Ironwood 每百万总 token 成本约0.098美元，B200 为0.106美元，B300 为0.132美元。换一个服务约束，优势幅度就会变化。采购目标应落在满足首字等待、生成速度和任务时限的有效吞吐上。

六、Anthropic 验证规模，开源质量决定扩散速度

在 [SemiAnalysis 对 Ironwood 商业化的分析](https://newsletter.semianalysis.com/p/tpuv7-google-takes-a-swing-at-the)中，Anthropic 是最大的 TPU 外部用户，其百万量级的安排涉及直接采购与通过 Google Cloud 租用两条路径。这让 TPU 对外商用有了大规模客户基础，也为硬件和软件持续优化提供了实际需求。

大型模型实验室能够投入专门团队优化编译、算子和服务系统。更多企业采用 TPU，则需要把这部分经验沉淀为可复用的软件能力。TorchTPU、vLLM 和 SGLang 的适配质量，正处在从少数大客户走向更广泛开发者的关键位置。

对 NVIDIA，采购压力可以在客户全面迁移之前出现。只要另一种平台在部分负载上具备可信的成本优势，并且迁移代价可以测量，客户就多了一种容量配置与价格谈判的选择。

当前证据支持一个有限而明确的判断：Ironwood 已在特定 FP8 聚合式推理负载上展示第三方可量化的经济优势；NVIDIA 在 FP4、成熟的分离式服务和部分延迟区间仍有优势。

接下来最有判断价值的，是10月公开软件能否让外部团队复现性能、以可接受的工程成本接入更多模型，以及 TPU 分离式服务上线后能否改善整条延迟与成本曲线。Ironwood 已经交出值得认真计算的账本，TorchTPU 的交付质量将影响这份账本能进入多少客户的生产决策。