TASTE:文本生成符号钢琴
用音乐元素分类体系提升文本到钢琴 MIDI 的可控生成。
为什么重要
为文本可控符号音乐生成提供了数据、训练和评测线索。
阅读原文arxiv.org
AI 解读(根据原文生成)
论文提出 TASTE,一个面向符号音乐生成、主要聚焦钢琴作品的 taxonomy-aware 框架。方法先定义音乐元素分类体系,用元数据标签(如 genre、emotion、section plan 等)和自由形式音乐意象描述来组织文本条件;再构建公开符号钢琴资源的收集、标注与检索流程,得到 432K 个 MIDI 文件的多粒度标注语料;最后用分阶段训练利用多粒度数据,覆盖自回归模型和非自回归扩散模型。客观和主观评测显示模型在音乐元素控制、文本描述对齐和整体音乐质量上更好。作者称将发布完整流程、标注数据集和模型检查点。
要点(AI 据原文整理,数字均已与原文核对)
- 论文提出 TASTE,一个 taxonomy-aware framework for symbolic music generation with a main focus on piano pieces。
- 分类体系包含 metadata tags(genre, emotion, section plan, etc.)以及 free-form description of music imagery。
- 数据流程产出 a corpus of 432K MIDI files labeled at multiple levels of granularity。
- 训练过程覆盖 two model families: an autoregressive model and a non-autoregressive diffusion model。
- 作者称将发布 the full pipeline, all annotated datasets, and the model checkpoints。
- Authors: Mingyang Yao, Jingyue Huang, Ke Chen, Taylor Berg-Kirkpatrick, Shlomo Dubnov.