同一段视频,关掉原声后,AI 还能判断什么?

工具2026 年 11 月 21 日发布 小智
34 0

画面里有两个信封。旁白说“寄蓝色那个”,但没说它在哪;画面拍到了左右位置,却没有给出指令。真正的音画理解,不是把这两种信息分别复述一遍,而是把声音里的“蓝色”与画面里的位置对应起来。腾讯微信视觉团队在 2026 年 11 月 19 日发布的 WeMM-Video,为这类任务提供了一个可复测的模型家族。它最值得追问的,不是有没有“听懂视频”的标签,而是:哪类问题确实因原声变得可解,哪些答案仍是模型在猜?

原声怎么进入模型

技术报告第 2 节显示,2B、4B 和 9B 版本基于对应规模的 Qwen3.5,旗舰 35B-A3B 基于 Qwen3.6-35B-A3B。开发团队保留基座的视觉编码链路,新增一套由 Whisper 类编码器和 Q-Former 组成的音频处理链路。音频重采样到 16 kHz,按 30 秒切块;每约 0.1 秒的局部窗口被压成一个音频标记。处理有声视频时,模型按时间交错接收音频与画面标记,并辅以文本时间戳。

这与“抽帧+全文转写”不同:模型能直接接收原音轨,不限于转写得出的词,因此原则上可以利用语气、非语言声响或声音出现的顺序。但编码时间窗不是事件定位精度;画面采样可能漏掉短动作,声音也可能在压缩或噪声中失去线索。其输出仍是文本,报告里的时间信息也不等于剪辑级定位保证,更不等于已经能检索整库视频。

三个分数比一个总榜更有用

报告表 1的同表结果如下。数字按原表列示,不能把不同行直接平均成一个“视频理解分”。

题集 旗舰 Instruct 旗舰 Thinking Gemini 3.0 Flash
Video-MME(有声) 84.2 86.4 88.6
AV-SpeakerBench 66.5 72.6 75.9
JointAVBench 67.4 65.9 68.4

Thinking 在说话人相关题集上增加 6.1 分,却在 JointAVBench 降低 1.5 分。若任务主要是找“谁在什么时候口头确认”,值得把 Thinking 放进试验;如果判断本身简单或对延迟敏感,不宜默认开启。报告也说明,对照模型有公开数值时引用公开结果,否则由作者评测。这里比较的是报告中的结果,不是对所有模型统一重跑后的结论;有声、静音跨表分差也不能直接归因于音频编码器。

怎样知道它不是歪打正着

先用同一段十秒无字幕画面制作四种受控版本。A、B 的视频帧完全一致,只把第三秒的指令从“寄红色”换成“寄蓝色”;静音版保留画面但去掉指令;仅音频版保留指令但没有位置证据。再拍一组红蓝左右互换的画面,避免模型靠位置偏好蒙对。文件名不写答案,每条启动新会话,固定检查点、采样帧率、最大帧数和提示词,记录推理模式。官方部署示例区分仅帧的 video 与带原声的 video_audio;API 路径还可以显式设置 use_audio。

评分不只看答对几条。第一,成对翻转:原声变了,A、B 是否和预期一起变;第二,证据归属:是否能分别指出声音给了颜色、画面给了位置;第三,缺证据时不猜:静音和仅音频是否都能说清缺什么。测试真实业务素材时,再单列多人重叠、背景噪声、快速动作和长视频,标出错在听、看、对齐还是推断。若需要时间点,事先设定可接受误差,并用原片复核。

对培训录像和工序复盘,我会先用模型定位值得回看的片段,再由人确认所引用的时间点和原话。若在同域样本里,带音轨相对“画面+转写”基线没有稳定的收益,或收益抵不过延迟和误报,就没必要把两路输入都搬到生产系统。

© 版权声明

相关文章

暂无评论

none
暂无评论...