disrouter.aiAI 情报台

disrouter.aiAI 情报台

论文arXiv eess.AS + cs.SD

TASTE:文本生成符号钢琴

用音乐元素分类体系提升文本到钢琴 MIDI 的可控生成。

为什么重要

为文本可控符号音乐生成提供了数据、训练和评测线索。

阅读原文arxiv.org

AI 解读(根据原文生成)

论文提出 TASTE,一个面向符号音乐生成、主要聚焦钢琴作品的 taxonomy-aware 框架。方法先定义音乐元素分类体系,用元数据标签(如 genre、emotion、section plan 等)和自由形式音乐意象描述来组织文本条件;再构建公开符号钢琴资源的收集、标注与检索流程,得到 432K 个 MIDI 文件的多粒度标注语料;最后用分阶段训练利用多粒度数据,覆盖自回归模型和非自回归扩散模型。客观和主观评测显示模型在音乐元素控制、文本描述对齐和整体音乐质量上更好。作者称将发布完整流程、标注数据集和模型检查点。

要点(AI 据原文整理,数字均已与原文核对)

  • 论文提出 TASTE,一个 taxonomy-aware framework for symbolic music generation with a main focus on piano pieces。
  • 分类体系包含 metadata tags(genre, emotion, section plan, etc.)以及 free-form description of music imagery。
  • 数据流程产出 a corpus of 432K MIDI files labeled at multiple levels of granularity。
  • 训练过程覆盖 two model families: an autoregressive model and a non-autoregressive diffusion model。
  • 作者称将发布 the full pipeline, all annotated datasets, and the model checkpoints。
  • Authors: Mingyang Yao, Jingyue Huang, Ke Chen, Taylor Berg-Kirkpatrick, Shlomo Dubnov.

全部来源(1)

  1. [1]arXiv eess.AS + cs.SD(语音与音频)

    TASTE:文本生成符号钢琴
TASTE:文本生成符号钢琴 · 语音专区 · AI 情报台