SquadStack 对话式流式 ASR 基准
面向印度语音 Agent 的 Hinglish 电话 ASR 评测集。
为什么重要
可帮助评估印度语音 Agent 场景中的流式 STT 选择。
阅读原文huggingface.co
AI 解读（根据原文生成）
该数据集是 SquadStack 维护的对话式流式 ASR 评测集，包含 863 通真实 Hindi–English 电话销售通话、5.53 小时客户语音、8 kHz 电话音频，并按轮次人工转写。它用于比较 11 个语音识别系统，指标包括原始 WER、关注语义影响的 Semantic WER，以及从端点信号到最终转写的 FTR P80 延迟。数据集可在 Hugging Face 访问，明确说明是 evaluation set，不用于训练。
要点（AI 据原文整理，数字均已与原文核对）
- 863 real Hindi–English telesales calls (5.53 hours of customer speech, 8 kHz phone audio), human-transcribed turn by turn, and 11 speech recognisers scored on them.
- Raw WER overstates the problem. It is 27–55% across the 11 systems.
- Semantic WER, which counts only errors that would change what the agent does, is 9–22%.
- For the median system, 32% of word errors matter.
- The top four are close. Soniox v5 (8.77%), Arth V2 (8.85%), Arth V1 (9.17%) and Nova 3 (9.31%) sit within about half a point of each other.
- It is an evaluation set. It is not for training, and training on it is a licence violation.
