符号音乐 Transformer 中的和声表征
研究发现和声决策在中层后逐步局部化并可用于生成控制。
为什么重要
为符号音乐生成模型的可解释控制提供了实验证据。
阅读原文arxiv.org
AI 解读（根据原文生成）
论文以和声分析为案例，研究符号音乐 Transformer 如何表示音乐结构，以及这些内部表征能否用于控制生成。作者使用基于 LLaMA 的符号音乐 Transformer Aria，在 Bach chorales 上评估，发现和声决策从中间层开始逐步具有因果局部化；线性探针显示，mode 可在同一层范围被解码，key identity 则更晚出现。论文进一步表明，通过对应和声变化的潜在方向进行 steering，可产生 deceptive 或 minor resolution，同时保持结构连贯性和生成质量。论文已在 arXiv 发布，许可为 CC BY 4.0。
要点（AI 据原文整理，数字均已与原文核对）
- 使用 Aria，一个基于 LLaMA 的符号音乐 Transformer，在 Bach chorales 上进行评估。
- 和声决策从 middle layers onward 开始逐步因果局部化。
- Linear probes 显示 mode 在 patching 识别出增长因果效应的同一层范围内可解码。
- key identity emerges later。
- steering via latent directions corresponding to harmonic changes reliably produces a deceptive or minor resolution。