Kandinsky 6.0 Video 音视频生成模型
用双流 CrossDiT 同步生成 5 秒视频与 44 kHz 音频。
为什么重要
为同步音视频生成研究提供了开放代码与检查点。
阅读原文arxiv.org
AI 解读（根据原文生成）
论文提出 Kandinsky 6.0 Video，一组用于同步文本到音频视频生成的基础扩散模型，包含 3B 参数的 Lite 和 29B 参数的 Pro。模型支持 T2AV 与 I2AV，生成带 44 kHz 同步音频的 5 秒视频，并通过内置超分模型提升到 Full-HD。方法上采用双流 CrossDiT，将预训练视频流与新训练音频流通过双向交叉注意力对齐。作者称已以 MIT 许可证发布代码、模型检查点和 diffusers 集成。
要点（AI 据原文整理，数字均已与原文核对）
- Both models generate 5-second video clips with synchronized 44 kHz audio.