
OneStreamer:流式视频交互统一框架
用主动生成把实时感知、事实记忆和及时响应联合学习。
为什么重要
为流式视频系统提供了可复用记忆与实时响应的联合训练思路。
阅读原文arxiv.org
AI 解读(根据原文生成)
论文提出 OneStreamer,面向流式视频 LLM 在未来任务相关性未知时保留证据、并在证据充分时响应的问题。其 PHCM 生成带时间定位的局部细节字幕和已完成事件摘要,推理时用生成记录补充近期视觉窗口,避免重访历史视觉特征;PSTL 通过选择代表性状态变化与保持 token 减少重复等待状态主导。作者还合成流式字幕与 QA,结合清洗后的开源数据构建 OneStreamer-1M。论文已在 arXiv 发布,代码提供 GitHub 链接。
要点(AI 据原文整理,数字均已与原文核对)
- OneStreamer-1M is a broad-coverage streaming video interaction dataset with over one million records spanning diverse tasks.
- The 4B model achieves the best results among the compared methods across all eight evaluated streaming video understanding benchmarks.
- Ablations show that retaining generated captions improves historical QA without degrading real-time perception.
- PSTL outperforms dense state supervision while supervising only 27.5% of annotated state tokens.