disrouter.aiAI 情报台

disrouter.aiAI 情报台

论文arXiv eess.AS + cs.SD

Sori:非音乐音频转符号音乐

提出 NASMT 任务,并用可流式 Transformer 控制对应性与音乐性。

为什么重要

为非音乐音频到符号音乐的生成与评测提供了新任务和可控基线。

阅读原文arxiv.org

AI 解读(根据原文生成)

论文提出 Non-musical Audio to Symbolic Music Transformation(NASMT)任务,将非音乐音频转换为符号音乐表示。作者提出 Sori,一个编码器—解码器 Transformer,通过 domain adversarial training 缩小音乐与非音乐音频在编码器特征空间的差距,并使用带连续参数 γ 的 classifier-free guidance,在推理时控制输入对应性与音乐性的权衡。客观指标和听感研究显示,Sori 可通过 γ 实现连续控制,并优于 instrument-agnostic transcription models。论文和音频示例链接已提供。

要点(AI 据原文整理,数字均已与原文核对)

  • Sori is an encoder--decoder Transformer.
  • Across objective metrics and a listening study, Sori provides effective continuous control via γ.
  • Sori compares favorably with instrument-agnostic transcription models.
  • Sori supports real-time streaming on a consumer CPU.

全部来源(1)

  1. [1]arXiv eess.AS + cs.SD(语音与音频)

    Sori:非音乐音频转符号音乐
Sori:非音乐音频转符号音乐 · 语音专区 · AI 情报台