MOSS-VL-Realtime是什么
MOSS-VL-Realtime 是 OpenMOSS 开源的 11B 参数流式视觉语言模型，专为实时视频理解设计。模型支持边看边答、即时修正与主动沉默，将视频理解从看录像升级为看直播。模型通过双通道交叉注意力架构与绝对时间戳编码，实现感知与生成并行，让 AI 与物理世界保持时间同步，在多个流式基准测试中达到开源 SOTA。
MOSS-VL-Realtime的主要功能
实时视频理解：持续接收视频流，边观看边生成回答，无需等待视频结束。
即时问答响应：用户可在任意时刻插入提问，模型基于当前帧即时作答。
主动沉默机制：信息不足或无关键事件时，模型自主保持静默等待。
动态答案修正：场景变化时，模型实时调整并修正此前回答。
时空定位感知：通过绝对时间戳编码，精准感知物理时间流与空间位置。
长上下文处理：支持长视频流的持续理解与交互。
MOSS-VL-Realtime的技术原理
双通道交叉注意力架构：视觉特征通过侧通道进入，与文本生成解耦，感知与生成并行运行互不阻塞。
解耦交叉注意力：分离视频特征提取与文本生成的交叉注意力计算，降低高频帧的端到端延迟。
绝对时间戳编码：为每帧嵌入绝对时间信息，使模型感知物理时间流，摆脱固定帧率依赖。
XRoPE 跨维度旋转位置编码：统一映射视频特征的空间维度 (h, w) 与时间维度 (t)，构建统一时空表征。
流式 SFT 训练范式：重构多模态语料，将密集字幕转换为带实时修订的问答数据，训练模型预测何时说话、何时沉默。
