
HelixWorld:实时交互式视听世界模型
将视觉场景与相机视角绑定的空间立体声同步生成。
为什么重要
为交互式世界模型补上实时空间音频生成与评测维度。
阅读原文arxiv.org
AI 解读(根据原文生成)
论文提出 HelixWorld,一个实时交互式视听世界模型,使视觉场景与相机绑定的空间立体声在用户交互下共同演化。方法上,作者构建了包含真实立体声与度量相机位姿的高保真空间视听数据集,预训练由 6-DoF 相机轨迹和用户动作条件控制的双向教师模型,并通过在线轨迹蒸馏将其压缩为少步流式学生模型,实现低延迟因果交互。论文还提出 HelixBench 评估空间声学一致性。代码已在 GitHub 提供。
要点(AI 据原文整理,数字均已与原文核对)
- The teacher model is conditioned on 6-DoF camera trajectories and user actions.