用文本合成超声回声用于静默语音识别
SoniGAN 从文本合成静默发音的超声回声作为训练监督。
为什么重要
为超声静默语音识别提供了减少真实训练数据依赖的合成监督方案。
阅读原文arxiv.org
AI 解读（根据原文生成）
论文提出 SoniGAN，用于从文本合成静默发音的超声回声轮廓，以降低开放词表静默语音识别的训练数据成本。方法使用声音克隆的文本转语音模型朗读文本语料，再由两阶段生成器根据音频中 spoken content 的表征合成 echo profiles。作者用 104 hours 合成数据预训练识别器，使公开开放词表基准的 WER 改善 2.3 points；结合被数据集丢弃的故障麦克风 sessions、词典约束解码、LLM 重排序和集成后达到 14.9%。论文在 arXiv 可获取。
要点（AI 据原文整理，数字均已与原文核对）
- Pretraining a recognizer on 104 hours of the synthesized data improves the word error rate (WER) of a public open-vocabulary benchmark by 2.3 points.
- Adding the sessions the corpus discards for a faulty microphone brings the system to 22.2% without any language model.
- Lexicon-constrained decoding, LLM rescoring, and ensembling further bring it to 14.9%.
- Authors: Jiacheng Liu, Ruidong Zhang, Fran\c{c}ois Guimbreti\`ere, Cheng Zhang.