Learn2Play Bench：LLM Agent 经验学习评测
用新设计的文本游戏评测 Agent 从交互中学习的能力。
为什么重要
为研究 Agent 经验学习提供可复现、可自动评分的文本游戏基准。
阅读原文arxiv.org
AI 解读（根据原文生成）
论文提出 Learn2Play Bench，一个由新设计文本游戏组成的基准，用于评估 LLM agents 在陌生、动态环境中是否能通过交互获得知识。其游戏规则新颖或反直觉，避免模型仅依赖预训练知识；同时提供可复现反馈和自动评分，并通过变化游戏实例测试迁移。实验考察了骨干模型、自进化方法和 agent harness 对学习能力的影响。论文、代码与项目页均已给出。
要点（AI 据原文整理，数字均已与原文核对）
- Learn2Play Bench is a benchmark of newly designed text-based games.
- The games provide reproducible feedback and automatic scoring.
- Retaining complete records of actions and feedback can support more effective learning than summarizing these experiences into rules or strategies.
- Top-performing human players achieve higher peak scores than the evaluated agents.
- With the backbone fixed, changing the harness can improve performance while reducing estimated inference cost.
