
VIS-Ground:上下文落地的视频交互叙事
将异构上下文转为可执行约束以续写交互视频。
为什么重要
为交互式视频生成提供了处理隐式上下文依赖的约束化方法。
阅读原文arxiv.org
AI 解读(根据原文生成)
论文提出 VIS-Ground,面向视频交互叙事中观众中途干预带来的上下文依赖问题。作者将 contextual grounding 定义为把来源、已渲染历史和新意图等异构输入转化为视频生成的可执行约束模型,并设计结构化上下文抽象、生成约束归纳和受约束视频生成,通过规划、验证、修订与渲染执行约束。在三个视频生成 backbone 上,VIS-Ground 的综合分数最高,相比最强逐 backbone 基线平均绝对提升 10.3 分。代码和项目页已给出。
要点(AI 据原文整理,数字均已与原文核对)
- Across three video generation backbones, VIS-Ground consistently achieves the highest overall composite score, reaching an average absolute improvement of 10.3 points over the strongest per-backbone b
- Authors: Bingxuan Li, Yiwen Song, Xueqing Wu, Yanzhou Pan, Yang Li, Kuang Su, Jingyun Liu, Sebastian Ko, Huan Zhang, Tong Zhang, Nanyun Peng, Tomas Pfister, Yale Song.
- Code: https://github.com/vis-ground/code.
- Project page: https://vis-ground.github.io.