用语音基础模型检测语码转换
利用预训练语音编码器中的语言选择性维度直接从语音检测语码转换。
为什么重要
为构建更具代表性的多语语音语料提供了轻量筛选工具。
阅读原文arxiv.org
AI 解读（根据原文生成）
论文提出一种轻量方法，用于不依赖多语转写、直接从语音中检测语码转换（CS）话语。方法先用单语录音识别预训练语音编码器隐藏状态中的语言选择性维度，再聚合这些维度的帧级激活生成 CS 预测，并用少量 CS 数据调节决策规则。在 CS-FLEURS 的 14 个语言对上，Whisper-small 编码器平均 F1 为 0.798，高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751。论文可在 arXiv 获取。
要点（AI 据原文整理，数字均已与原文核对）
- 方法使用单语录音识别语言选择性隐藏状态维度，并聚合帧级激活进行 CS 预测。
- Whisper-small encoder 在 CS-FLEURS 的 14 个语言对上平均 F1 为 $0.798$。
- CNN 基线的平均 F1 为 $0.776$。
- HuBERT 线性基线的平均 F1 为 $0.751$。
- Authors: Jie Chi, Zakaria Aldeneh, Masha Fedzechkina, Maureen de Seyssel, Natalie Schluter.