AnyEdit 语音与歌声编辑框架
在真实噪声、混响和背景音乐中统一编辑语音与歌声。
为什么重要
为真实环境下的语音和歌声编辑提供了可评测框架与基准。
阅读原文arxiv.org
AI 解读（根据原文生成）
论文提出 AnyEdit，一个无需分离的语音与歌声编辑统一框架，目标是在真实声学环境中修改内容并保持说话人身份、韵律和背景一致性。方法采用两阶段设计：指令引导的自回归编辑器预测干净韵律与内容风格 token，并用教师-学生噪声鲁棒韵律 tokenizer 从退化录音中蒸馏干净韵律；随后流匹配声学模型根据源声学上下文进行渲染。作者还引入未修改区域感知监督，并在预训练后对真实歌声配对应用 DPO。论文发布 AnyEditBench，覆盖干净、模拟和野外条件下的语音与歌声编辑；Demo 和基准数据集链接已给出。
要点（AI 据原文整理，数字均已与原文核对）
- The framework preserves real-world acoustic environments, including noise, reverberation, and background music.
- After pre-training, the authors apply direct preference optimization on mined real-to-real singing pairs.