文章
@AinaPulu

Gemini Agentic Video:动态搜扫片段,不是固定 FPS

Google DeepMind 在 2026 年 9 月 1 日宣布 Gemini Agentic Video 模式上线,核心改变是模型不再按固定帧率整段吞入视频,而是用原生视频工具动态搜索、扫描、检视目标片段,按需拉取帧、音频或字幕。官方 benchmark 给出的最高收益是相对静态处理减少 88% tokens、降低 66% 成本、同时质量提升 7%,三项指标同向优化打破了传统静态方案"要么灌满上下文换质量、要么降采样省成本"的权衡困境。这套机制已在 Gemini API、AI Studio 与 Gemini Enterprise Agent Platform 开放,消费端 Gemini App 与 YouTube 观看页的 Ask YouTube 功能将在未来数月跟进。

一、机制对比:agentic loop 与固定 1 FPS 的本质差异

静态视频处理的默认方案是以约 1 FPS 的固定帧率将整段视频编码后灌入上下文窗口,模型一次性读取全部视觉与音频信息,推理时无法回溯或动态调整采样密度。Agentic Video 模式引入工具循环:模型在推理过程中可调用 search(跨帧、音频、字幕搜索关键词或场景)、scan(扫描时间段内的帧序列)、inspect(检视特定时刻的高分辨率帧)三类原生视频工具,根据任务需求决定拉取哪些片段、以多高的 FPS 重新采样。这意味着模型在一个 90 分钟讲座中可能只具化提取 5 分钟相关片段的帧与转录文本,其余时段保持低开销的索引状态,而不是预先将全部 5400 秒按 1 FPS 展开成 5400 帧。

二、支持模型与 API 调用:Flash 家族全面覆盖

官方博客列出的支持模型包括 Gemini 3.7 Flash、3.6 Flash 与 3.5 Flash-Lite,开发者指南文档中还补充了 3.8 Flash。启用方式是在 Gemini API 请求的 file 或 video 配置中设置 processing:"agentic",模型会自动判断是否启动工具循环。计费逻辑按具化的媒体 token(实际拉取的帧、音频段)加上 thinking 与 tool call 的 token 累加,标准定价无额外功能费,Batch API 执行时享受约 50% 折扣。Gemini Enterprise Agent Platform 同时支持直接上传视频文件与传入 YouTube URL,后者让企业用户可以在不下载原片的情况下对公开或内部 YouTube 内容做长视频分析。

三、长视频场景的量变:从 10 分钟教程到多小时录像

Agentic Video 的收益幅度与视频时长高度正相关。官方用例涵盖四类典型任务:一是亚秒级时刻检索,例如在 2 小时会议录像中定位"预算数字首次出现的准确时间戳";二是长视频大海捞针,在数十分钟素材里找出单帧特定物体或短暂对话;三是异常检测,模型在扫描阶段发现可疑区间后可对该片段提高 FPS 重新采样以捕捉瞬态事件;四是计数任务,例如统计 90 分钟体育比赛中某动作的出现次数,模型可跳过无关片段只聚焦关键时段。对比静态 1 FPS 方案,一个 10 分钟操作教程可能节省 30% tokens,而一个 90 分钟讲座的 token 削减幅度可以接近官方 benchmark 的上限 88%,成本与延迟的改善随视频时长呈非线性放大。

四、Pareto 前沿与"最高"口径的边界

DeepMind 博客声称 Gemini 3.7 Flash 配合 agentic 模式在测试基准上占据了准确率-成本的 Pareto 前沿,但同时强调这些数字是"up to"(最高)口径,并非每次请求的保证收益。实际表现取决于任务类型、视频内容结构与提示词设计:高度结构化的视频(带清晰章节、字幕或周期性场景)更容易让模型精准定位,而碎片化、无字幕的原始素材可能需要更多轮工具调用甚至退化到接近全量扫描。开发者指南明确指出,对于时长小于约 5 分钟的短片,agentic 模式引入的工具往返开销可能抬高首 token 时延(TTFT),此时静态处理的端到端速度反而更优。这一边界意味着 agentic 不是通用替代方案,而是针对长视频与检索密集型任务的专用优化。

五、计费透明度与 Batch 折扣的产业含义

Agentic Video 沿用标准 token 计价模型,未设置独立功能费或按视频时长的固定附加费,这让开发者可以通过优化提示词与任务分解直接控制成本。具化媒体 token 的计费逻辑意味着两个开发者处理同一视频但任务不同时,拉取的片段量可能相差数倍,费用也随之线性变化。Batch API 的约 50% 折扣进一步降低了大规模视频语料处理的门槛,例如对企业内部培训视频库做批量索引建库、或对社交媒体监测场景下的长直播流做异步分析,边际成本可压缩到静态方案的六分之一左右(−66% 基准 ×50% Batch 折扣)。这套定价结构实质上将视频理解从"按时长买算力"转向"按信息密度买推理",激励开发者设计更精确的查询而非粗暴全量送入。

六、消费端推广与 Ask YouTube 的下一步

企业与开发者 API 已全面开放后,Google 计划在未来数月将 agentic 能力推送到 Gemini App 的消费端界面,覆盖 Flash 与 Flash-Lite 模型。更引人注目的是 YouTube 观看页的 Ask YouTube 功能将集成这一模式,用户可以在看视频时直接提问"这个视频里什么时候讨论了退款政策"或"统计一下教练喊了几次暂停",模型在后台动态搜扫片段后返回带时间戳的答案,而不需要 YouTube 预先为每个视频生成全量帧嵌入。这一落地路径显示 Google 将 agentic 视为降低 YouTube 视频索引成本的基础设施级工具,而非仅限实验室的 benchmark 优化。对比 OpenAI 在 GPT-4 Vision 阶段采用的静态多帧拼接方案,Gemini 的动态工具循环在长视频场景中展现出明确的架构优势,但短片与低延迟场景的权衡边界也提醒行业这不是"一刀切"的升级,而是需要根据任务特征做模式选择的工程决策。