AI 根本没在「看」视频：中科大团队用一招逼它先看懂再搜索，35B 小模型干翻 GPT-5 和 Claude

金句开头：你以为 AI 看懂了视频？它只是背了答案。真正会「看」视频的 AI，这几天才刚出生。

你有没有过这种体验：给 AI 扔一段视频，问它「画面里这个人是谁、演过什么」，它给你的答案要么牛头不对马嘴，要么干脆编一个。

问题不在模型笨，而在于一个扎心的真相——大多数号称「能理解视频」的 AI，根本没在认真看视频。它们要么直接跳过画面、拿文字去搜，要么干脆靠训练时背下来的知识「猜」答案。

2026 年 8 月 4 日，一篇由中国科学技术大学（USTC）牵头、联合小红书、香港中文大学、香港理工、浙大、UCLA、牛津、华东师大、清华共同完成的论文，把这件事彻底摊开在了桌面上。论文名叫 Video-DeepResearch（简称 VideoDR），arXiv 编号 2608.03979。

它做了一件很「轴」的事：逼着 AI 必须先逐帧把视频看透，再去网上检索证据，最后才综合判断。结果令人意外——一个只有 35B 参数的开源小模型，在视频深度研究榜单上，把 GPT-5、Gemini 2.5 Pro、甚至 Claude-4.5-Sonnet 全部甩在身后。

一、诊断实验：AI 的「作弊」被当场抓包

VideoDR 团队先做了一个「揭老底」的诊断实验。他们挑了三个代表性模型——开源的 Qwen3.5-35B-A3B、开源的 Qwen3.5-397B-A17B，以及闭源的 GPT-5，让它们在同一个视频问答基准上答题，同时统计：每道题，模型分别调用了多少次「视觉工具」（比如截图、定格画面去搜）和「文字工具」（直接文字搜索）。

结果相当讽刺：

• 最强开源模型 Qwen3.5-397B-A17B，平均每道题调用视觉工具仅 0.10 次，而文字工具高达 1.27 次。换句话说，面对「看视频 + 上网查」的题，它几乎完全跳过了看视频，直接去打字搜。
• 更夸张的是 GPT-5：准确率 57%，但视觉工具调用次数为 0，文字工具也才 0.12 次。这意味着 GPT-5 基本是靠「背答案」在做题——训练数据里可能已经有相关知识，它直接从记忆里提取，而不是真的去做调查研究。

这就好比你问它「视频里这个演员是谁」，它不看画面，直接在搜索框里输入「这个视频里的演员是谁」——这种搜法，几乎不可能搜对。

团队把这两个毛病总结为当前视频 Agent 的两大瓶颈：模态偏好（modality bias） 和 参数知识泄漏（parametric knowledge leakage）。前一个是不用视觉工具、偏爱文字搜索；后一个是依赖内部记忆、而非真正的工具增强执行。

二、VideoDR 的解法：先「看」，再「搜」

针对这两个毛病，VideoDR 提出了一个听起来朴素、做起来极难的设计——解耦的「感知—探索」流水线 + 分阶段工具解锁（stage-wise tool unlocking）。

翻译成人话就是：它把任务拆成两个阶段，并且强制锁死顺序。

第一阶段是「感知」：模型必须先把视频的每一帧、每一个关键画面都做密集的时空定位（spatiotemporal grounding），把画面里的信息榨干。在这个阶段，网络检索工具是被锁住的，模型不许偷懒去搜，只能老老实实看。

第二阶段才是「探索」：当视觉信息已经穷尽、确实需要外部证据时，检索工具才被解锁，模型才去网上找答案。

这套设计的关键，是它逼着模型先完成跨帧的视觉定位，再做网络检索。没有「看透」之前，不许「搜索」。

训练上，VideoDR 走的是 SFT（监督微调）接 GRPO（Group Relative Policy Optimization）的两段式配方，让模型学会自主探索，而不是只会模仿人类标注的轨迹——这打破了模仿学习的天花板。

三、数据说话：35B 小模型，榜单第一

为了评测，团队还专门做了一个新基准 Video-DR-Bench：一个人机协作构建的基准，包含 200 道复杂的、多跳（multi-hop）视频问答题——每道题都需要跨多个画面、结合外部检索才能答对。

最终成绩（平均准确率）：

• Video-DR-35B-A3B：64.0% —— 新的 SOTA
• Claude-4.5-Sonnet：59.0%
• Gemini 2.5 Pro：57.5%
• GPT-5：52.5%

VideoDR 比 Claude 高出 5.0 个百分点，把 GPT-5 甩开超过 11 个百分点。更值得玩味的是它的「小兄弟」——30B-A3B 版本也拿到了 59.3%，已经能和 Claude-4.5-Sonnet 掰手腕。

这意味着什么？意味着「看得更准」比「参数更大」更重要。一个 35B 的开源模型，靠的是正确的方法论，而不是靠堆参数。

四、反常识：为什么是小模型赢了？

这里有一个特别反常识的点，值得所有做 AI 应用的人记住：

在视频深度研究这种任务上，模型的天花板不是参数规模，而是「有没有真的去用工具、去感知画面」。

GPT-5 参数规模远比 35B 大，但它在视频题上几乎不调用视觉工具，等于自废武功。VideoDR 的胜利，本质上是流程设计的胜利——它用「强制先看后搜」的硬约束，补上了大模型偷懒的漏洞。

这对我们普通开发者的启示很直接：当你发现大模型「答非所问」「胡编乱造」时，与其换更大的模型，不如先检查——它到底有没有用到你给的上下文和工具？ 很多时候，问题出在「它懒得看」，而不是「它看不懂」。

五、开源可用：模型、代码、基准全部放出

更重要的是，这不是一篇「只发论文」的工作。团队把代码、模型权重、基准数据集全部开源了：

• 代码：github.com/Osilly/Vision-DeepResearch
• 模型：Video-DeepResearch-30B-A3B、Video-DeepResearch-35B-A3B（ModelScope）
• 基准：VDR-Bench（full / testmini）

也就是说，你今天就能把这个「会真的看视频」的 Agent 拉下来，接进自己的视频分析、内容审核、教育视频理解、甚至自动驾驶场景的合成数据生成流程里。

六、写在最后

VideoDR 给我们的最大启发，可能不是「又有一个模型超过了 GPT-5」，而是它戳破了一个行业幻觉：我们一直以为大模型「理解」了视频，其实它们只是更会「猜」。

当行业还在卷参数、卷榜单的时候，中科大的这群研究者选择去解决一个更根本的问题——让 AI 像人一样，先定格、先看清楚、再去查。这恰恰是多模态 Agent 从「能用」走向「好用」的关键一步。

结尾金句：真正聪明的 AI，不是记得多，而是知道什么时候该「睁眼看世界」。

参考来源：arXiv:2608.03979《Video-DeepResearch: Towards the Next-Generation Multimodal Deepresearch Agent》；GitHub: Osilly/Vision-DeepResearch；腾讯新闻《中科大联合多所顶尖高校推出"视频深度研究"智能体》。