Sori:非音乐音频转符号音乐
提出 NASMT 任务,并用可流式 Transformer 控制对应性与音乐性。
为什么重要
为非音乐音频到符号音乐的生成与评测提供了新任务和可控基线。
阅读原文arxiv.org
AI 解读(根据原文生成)
论文提出 Non-musical Audio to Symbolic Music Transformation(NASMT)任务,将非音乐音频转换为符号音乐表示。作者提出 Sori,一个编码器—解码器 Transformer,通过 domain adversarial training 缩小音乐与非音乐音频在编码器特征空间的差距,并使用带连续参数 γ 的 classifier-free guidance,在推理时控制输入对应性与音乐性的权衡。客观指标和听感研究显示,Sori 可通过 γ 实现连续控制,并优于 instrument-agnostic transcription models。论文和音频示例链接已提供。
要点(AI 据原文整理,数字均已与原文核对)
- Sori is an encoder--decoder Transformer.
- Across objective metrics and a listening study, Sori provides effective continuous control via γ.
- Sori compares favorably with instrument-agnostic transcription models.
- Sori supports real-time streaming on a consumer CPU.