
LLM 是否理解序列结构?
用受控任务区分分布匹配与条件规则跟随能力。
为什么重要
提醒研究者评估智能体仿真时不能只看表面行为相似。
阅读原文arxiv.org
AI 解读(根据原文生成)
这篇论文研究大语言模型是否能在表面动作频率之外恢复潜在序列结构。作者使用受控的双人石头剪刀布交互和单人随机 n-gram 续写任务,测试 LLM 识别潜在策略、遵循简单 Markov 规则以及维持高阶条件依赖的能力。结果显示,更长上下文并未改善识别,正确识别不保证忠实模拟,高阶依赖会显著削弱规则恢复。论文可通过 arXiv 链接获取。
要点(AI 据原文整理,数字均已与原文核对)
- 论文使用双人 Rock--Paper--Scissors interactions 和单人 stochastic n-gram continuation task。
- 实验测试 LLMs 是否能 identify latent strategies、follow simple Markov rules,并 sustain higher-order conditional dependencies。
- 结果显示 longer context does not improve identification。
- 结果显示 correct recognition does not ensure faithful simulation。
- 结果显示 higher-order dependencies substantially degrade rule recovery。