disrouter.aiAI 情报台

disrouter.aiAI 情报台

图片:Hugging Face

论文Hugging Face Daily Papers

OneStreamer:流式视频交互统一框架

用主动生成把实时感知、事实记忆和及时响应联合学习。

为什么重要

为流式视频系统提供了可复用记忆与实时响应的联合训练思路。

阅读原文arxiv.org

AI 解读(根据原文生成)

论文提出 OneStreamer,面向流式视频 LLM 在未来任务相关性未知时保留证据、并在证据充分时响应的问题。其 PHCM 生成带时间定位的局部细节字幕和已完成事件摘要,推理时用生成记录补充近期视觉窗口,避免重访历史视觉特征;PSTL 通过选择代表性状态变化与保持 token 减少重复等待状态主导。作者还合成流式字幕与 QA,结合清洗后的开源数据构建 OneStreamer-1M。论文已在 arXiv 发布,代码提供 GitHub 链接。

要点(AI 据原文整理,数字均已与原文核对)

  • OneStreamer-1M is a broad-coverage streaming video interaction dataset with over one million records spanning diverse tasks.
  • The 4B model achieves the best results among the compared methods across all eight evaluated streaming video understanding benchmarks.
  • Ablations show that retaining generated captions improves historical QA without degrading real-time perception.
  • PSTL outperforms dense state supervision while supervising only 27.5% of annotated state tokens.

全部来源(1)

  1. [1]Hugging Face Daily Papers(每日论文)

    OneStreamer:流式视频交互统一框架