Thinker-WM统一世界模型
用共享动态表示联合建模RGB、深度与机器人动作。
为什么重要
为具身世界模型提供了共享表示下统一多功能建模的实验样例。
阅读原文arxiv.org
AI 解读（根据原文生成）
论文提出 Thinker-WM，一个面向具身智能的统一多模态世界模型。它通过模态专用编码器/解码器和共享的 Unified Dynamics Transformer，在表示层把外观、几何和动作映射到共同动态表示，并联合演化 RGB、metric depth 和机器人动作。相同参数化支持视频-动作联合生成、世界预测、策略推理、动作条件生成、视频到动作生成和逆动力学。论文链接和 PDF 已提供，许可为 CC BY-NC-SA 4.0。
要点（AI 据原文整理，数字均已与原文核对）
- Thinker-WM jointly models and generates RGB, metric depth, and robot action.
- The same parameterization supports multiple functions, including joint video-action generation, world prediction, policy inference, action-conditioned generation, video-to-action generation, and inver
- Thinker-WM is trained on approximately 20K hours of egocentric video, 10K hours of real-robot data, and 1K hours of simulation data.
- Thinker-WM ranks first on EWMBench, WorldOlympiad and WorldArena.