从语音信号估计惊讶度
用语音 LM 直接从语音估计 surprisal，绕过转写文本瓶颈。
为什么重要
为研究语音模态中的语言处理负荷提供了绕过转写的新方法。
阅读原文arxiv.org
AI 解读（根据原文生成）
这篇论文研究如何在无文本条件下检验 surprisal 理论。作者使用 speech LM 直接从语音信号估计 surprisal，并提出重要性采样估计器：通过 text-to-speech 模型生成的多种实现，对抽象语言单位的概率进行边缘化。基于听力研究中的瞳孔测量数据，论文在多个粒度评估该方法；结果显示，对词而言，重要性采样估计的 surprisal 比特定声学实现的 surprisal 更能预测瞳孔扩张，亚词单位的 surprisal 也有预测性。论文可通过 arXiv 获取。
要点（AI 据原文整理，数字均已与原文核对）
- Authors: Zachary Hopton, Samuel Kiegeland, Francesco Ignazio Re, Patrick Haller, Matthew B. Winn, Ryan Cotterell, Eleanor Chodroff.
- Using pupillometry data from a listening study, we evaluate surprisal theory in this text-free setting at multiple levels of granularity.
- Surprisal estimated via importance sampling better predicts pupil dilation than realization-specific surprisal for words.
- Surprisal values for sub-lexical units are predictive of pupil dilation.
- Surprisal as a whole is not a strong predictor of change in pupil size, regardless of its source.