1 个模型顶 4 个！商汤 SenseNova-Vision 终结视觉 AI「缝合怪」时代
配套媒体
本页对应的 PPT 与演示视频
下载没反应？点这里复制直链
侧边栏预览窗口（Electron webview）会拦截下载，把下面的链接复制到 Chrome / Edge 地址栏打开即可保存。
../../SenseNova-Vision-recommend.pptx../../SenseNova-Vision-recommend.mp4本文目录
1 个模型顶 4 个！商汤 SenseNova-Vision 终结视觉 AI「缝合怪」时代
一句话剧透：商汤科技把目标检测、图像分割、深度估计、多视角 3D 重建这四大传统视觉任务，塞进了一个 7B 参数的统一生成模型——而且每一项都打平甚至超过了专用专家模型。它开源了，Apache 2.0，还顺手放出了 5000 万条样本的训练语料库。
为什么这件事值得专门写一篇？
视觉 AI 圈过去十年一直有个尴尬的事实：做任何一个视觉任务，都要搭一整套专用模型——检测器是 YOLO/DETR，分割要装 SAM/Mask2Former，深度估计得跑 MiDaS/DPT，3D 重建又是 NeRF 或者 Gaussian Splatting。一个智慧工厂的视觉方案要落地，可能要部署 4 套不同的推理环境，每个都要单独标数据、单独微调。
这种"模型拼盘"架构被智东西称为"缝合怪"——形象又扎心。
而 2026 年 7 月 8 日，商汤科技正式开源了 SenseNova-Vision-7B-MoT，同步放出了 5000 万条样本的开源视觉语料库。它的核心承诺是：
一个模型，原生覆盖 9 大视觉任务；自然语言指令切换、零额外预测头。
更狠的是，这个模型 7 月 16 日登顶 Hugging Face Any-to-Any Leaderboard 全球第一，把 Vision Banana 等同尺寸多模态模型全部压在身下。
这不是又一个多模态论文，这是一次视觉 AI 范式的换轨——从"项目制重资产"切换到"平台化能力复用"。
下面我就把这件事掰开讲清楚。
它到底是什么？
SenseNova-Vision 的官方论文标题是 Vision as Unified Multimodal Generation（视觉即统一多模态生成），arXiv:2607.06560，48 页，7 月 7 日首次提交。
它要解决的问题用一句话概括就是：把异构的视觉任务，统一表达到一个 UMM（Unified Multimodal Model）的原生文本+图像生成空间中。
具体是怎么实现的？三层架构：
| 层级 | 关键设计 |
|---|---|
| 统一编码 | 一套视觉编码器把图吃进去，一套文本编码器接受自然语言指令 |
| 统一解码 | 同一个解码器根据指令类型输出：文本形式（类别、边界框、OCR 字符串、关键点）、图像形式（分割 mask、深度图、表面法线、多视角点图）、图文混合形式 |
| 零专属预测头 | 不再有"分类头""分割头""深度头"这些专属分支，所有任务共享一套架构 |
这也意味着，开发者可以用一句自然语言，定义一个训练中根本没出现过的全新视觉任务——这是把"视觉大模型"从"专用工具"推回"通用基座"的关键一步。
单模型 vs 多模型：到底有什么不一样？
直接上图对比。
传统方案的痛点（智东西原文总结）：
- 检测要输出边界框坐标
- 分割要输出像素级掩膜
- 深度估计要输出稠密深度图
- 3D 重建要输出点云和相机位姿
每种输出形式天差地别，每种都需要独立的算法头、损失函数、解码规则。结果就是：
视觉领域天然分裂成了一个个互不连通的"孤岛"。
SenseNova-Vision 的核心创新就是把这些"孤岛"打通。视觉积累了几十年的数据反哺大模型，大模型的推理能力反向赋能视觉任务——这是它技术报告里反复强调的双向增益逻辑。
四大任务，一个模型通吃
下面我直接给官方技术报告里的核心 benchmark 数据，让你看清单模型到底能不能打：
🎯 结构化视觉理解（检测 / OCR / GUI）
| Benchmark | SenseNova-Vision | Youtu-VL | Qwen3-VL-8B | Qwen3.5-9B |
|---|---|---|---|---|
| COCO 检测 mAP | 53.7 | 47.1 | 46.6 | 49.3 |
| OCR (HierText) | 80.2/79.6/80.5 | - | 70.4/72.3/72.6 | 71.7/72.1/72.6 |
| OCR (ICDAR15) | 54.8 | - | 43.2 | 43.2 |
| GUI (ScreenSpot-V2) | 49.5 | - | 25.4 | 11.4 |
注意 GUI 那一行——49.5 vs 25.4，几乎是 Qwen3-VL 的 2 倍，对做 Computer Use 类 Agent 的同学极其友好。
✂️ 图像分割
| Benchmark | SenseNova-Vision | Vision Banana |
|---|---|---|
| Cityscapes mIoU | 71.2 | 69.9 |
| RefCOCOg cIoU | 80.3 | 73.8 |
| RefCOCO/+ cIoU | 81.3/76.0 | 80.7/76.2 |
引用分割提升 +6.5 个点，语义分割稳赢。
📏 稠密几何预测
| Benchmark | SenseNova-Vision | Vision Banana |
|---|---|---|
| KITTI 深度 δ1 | 95.9 | 91.5 |
| ETH3D 深度 δ1 | 98.1 | 94.8 |
| NYUv2 法线误差↓ | 14.4 | 17.8 |
| ScanNet 法线误差↓ | 12.8 | 15.1 |
深度估计 δ1 提升 +4.4 个点，这意味着室内外场景的距离预测都更准了。
🌐 多视角 3D + OCR / GUI 等长尾任务
室内重建、物体多视图重建、相机位姿估计都能跑；视觉提示（Visual Prompting）和 Layout Grounding 也都被一个模型吃下。
更多细节看官方展示页：
这玩意好在哪？深度例子三连
光看 benchmark 太抽象，我们看几个真实场景的泛化表现（来自智东西报道）：
1. 零样本玩转《我的世界》
训练集里没这个画风，但模型照样能同步给出表面法向、实例分割、目标检测。影视/游戏创作者可以直接拿去用。
2. 超稠密物体"剥离式"分割
在颜色极度相近、边缘深度交织的密集场景中（比如一堆堆叠的钢管、钢筋），传统模型往往"密恐"分不清。而 SenseNova-Vision 能像外科手术一样把每个独立个体剥离开。
3. 不被借位摄影欺骗
面对有迷惑性的视觉错觉图案，传统模型往往给出错误判断。SenseNova-Vision 不仅能准确抠出被遮挡物体的完整轮廓，还能输出完全正确的表面法向估计。
冷知识：这一项最考验"语言模型推理能力 + 稠密几何预测"的融合，恰好是 SenseNova-Vision 的甜点。
不只是模型：完整开源生态
商汤这次放出来的不是孤立 demo，而是一整套：
| 资产 | 地址 |
|---|---|
| 模型权重 | https://huggingface.co/sensenova/SenseNova-Vision-7B-MoT |
| GitHub 仓库 | https://github.com/OpenSenseNova/SenseNova-Vision |
| 训练语料库（5000万） | https://huggingface.co/datasets/sensenova/SenseNova-Vision-Corpus-50M |
| 11 个 Benchmark 数据集 | https://huggingface.co/datasets/sensenova/SenseNova-Vision-Benchmark |
| 在线 Demo | https://huggingface.co/spaces/sensenova/SenseNova-Vision |
| 技术报告 | https://arxiv.org/abs/2607.06560 |
| 魔搭镜像 | https://modelscope.cn/models/SenseNova/SenseNova-Vision-7B-MoT |
| 许可证 | Apache 2.0（商用友好） |
最狠的是它还提供了完整的转换规则和训练脚本，社区可以用公开数据集重现全部训练流程。这种开放程度在视觉模型领域极其罕见。
仓库里 README 收录了深度与法线可视化的实拍对比，可以直接看到模型输出的密集几何效果：
上手 3 分钟：跑一个 Demo
环境需求最少 1×80GB GPU（推理/demo）或 8×80GB GPU（benchmark 评估）。完整训练需要至少 2 台 8×80GB 机器。
git clone https://github.com/OpenSenseNova/SenseNova-Vision.git
cd SenseNova-Vision
bash setup.sh sensenova-vision
conda activate sensenova-vision
跑一个推理示例：
# 二分类分割
bash scripts/run_sensenova_vision.sh inference \
binary_seg \
"person" \
examples/images/2.jpg
启动 Web Demo：
MODEL_PATH=/path/to/SenseNova-Vision-7B-MoT \
bash scripts/run_sensenova_vision.sh demo
跑全套基准测试：
bash scripts/run_sensenova_vision.sh benchmark all \
--num_gpus 8 \
--tasks_per_gpu 2
对开发者来说，最关键的两点：
- 自然语言切换任务——不需要为每个任务写专属代码
- Apache 2.0 商用友好——中小企业可放心二次开发
它适合什么场景？
适合：
- 智慧工厂视觉——一个模型替代原本的检测+分割+深度组合
- 机器人多模态感知——同时输出语义和几何
- Computer Use Agent——GUI 任务性能比 Qwen3-VL 翻倍
- 学术研究复现——开放语料+训练脚本+benchmark，论文可重复
- 影视/游戏资产生成——零样本迁移到未见过的画风
不太适合：
- 超大规模微服务——7B 单模型推理吞吐仍低于专用小模型
- 任务绝对专精——如果你的场景对某一项有极致要求，仍需要专用微调
一些冷静观察
- ReasonSeg 推理分割上，SenseNova-Vision 63.2 反而低于 Vision Banana 79.3——大模型路线在某些子任务上还有短板，未必全场通吃。
- 7B 模型的部署门槛不低——1×80GB GPU 对很多中小公司来说不便宜，但相比原来需要 4 套独立模型，这其实省钱。
- 多视角 3D 重建和相机位姿虽然在仓库里有 showcase，但社区还在消化阶段，距离真正替代 NeRF/3DGS 的工作流还有路要走。
最后：为什么商汤这次值得被记住
视觉 AI 行业过去十年的惯性是"一场景、一模型、一开发"——项目制、重资产、慢迭代。
SenseNova-Vision 指向的是平台化能力复用的新范式：开发者不再需要为检测、分割、深度、3D 重建分别建设和维护多套模型体系，单个模型即可覆盖绝大多数高频视觉需求。这种"大一统"将大幅缩短研发周期、降低部署成本，尤其适合复杂、开放场景下的视觉应用开发。
商汤连续 10 年蝉联中国视觉 AI 市场份额第一。 SenseNova-Vision 在 Hugging Face Any-to-Any Leaderboard 综合得分登顶全球第一。 5000 万条样本语料 + Apache 2.0，完全开源。
这是国产视觉 AI 老大的"老龙归来"。
视觉 AI 的"大航海时代"或许就从这一刻真正开启。