VLA2026/8/26arXiv:2608.25757

LM-X: 進捗・イベント・不確実性予測による説明可能な汎用ロボット操作の行動モデリング

LM-X: Explainable Action Modeling with Progress, Event, and Uncertainty Prediction for Generalist Robot Manipulation

汎用VLAポリシーに、タスク進捗・イベント遷移・局所信頼性を明示的に予測する3つの信号を導入し、制御に内在する説明可能性を実現した。大規模事前学習と実ロボットデータで高い成功率を達成した。

詳しい要約

1. どんなもの？

LM-Xは、汎用ロボット操作のための説明可能な行動モデリングを提案する。タスク・イベント・モーターの3スケールで予測を組織化し、return-to-go (RTG)、event-to-go (ETG)、heteroscedastic action flowの3つの明示的な教師信号をオンラインで出力し、行動生成を直接条件付ける。説明は制御に内在的であり、ポストホックではない。

2. 先行研究と比べてどこがすごい？

従来のVLAポリシーは短期的な行動予測に焦点を当て、タスクの進捗や中間意図、局所的信頼性を単一の行動ターゲットに暗黙的に吸収し、実行中は隠れたままである。LM-Xはこれらの制御状態を明示的に予測し、行動生成に直接組み込む点で優れている。生物学的感覚運動制御の機能原理に触発されているが、解剖学的対応は主張しない。

3. 技術・手法の肝は？

手法の肝は、タスク・イベント・モーターの3スケールで予測を組織化し、RTG（可視のタスク進捗）、ETG（次の意味的遷移）、heteroscedastic action flow（伝播された分散による局所的信頼性）を明示的に教師信号として出力し、行動生成を条件付ける点。これにより説明が制御に内在的になる。

4. どうやって有効だと検証した？

検証は2段階で行われる。まず、5タスクのpretraining gateで設計を検証し、完全モデルがaction-only backboneより16.0ポイント、最強の単一ヘッド変種より10.8ポイント成功を改善。次に、20,000時間以上の実ロボット軌道（1,000時間以上の失敗ロールアウトを含む）で訓練し、50のランダム化ハードRoboTwin2.0タスクで74.1%（GR00T N1.7は55.4%）、7つの実ロボットタスクで68.6%（GR00T N1.7は50.7%）を達成。RTGは意味的進捗と可視的退行を追跡し、分散はためらいや振動制御中に上昇することを確認。

5. 議論はある？

議論としては、要旨からは不明。ただし、明示的なマルチタイムスケール予測状態が制御を強化し、解釈可能な内部推定を公開することが示された。生物学的機能原理との対応は解剖学的ではなく機能的であると述べている。

6. 次に読むべき論文は？

要旨で参照されているGR00T N1.7、および関連するVLAポリシー、生物学的感覚運動制御の研究。具体的には、vision-language-action models、return-to-go、event prediction、heteroscedastic uncertaintyに関する論文が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jin Lou, Jingxuan Zhu, Andong Chen, Xupeng Wang, Yuan Xu, Yuexuan Li, Xingdong Zhu, Zhijie Zhu, Yingwei Ji, Wenpeng Nie, Jingyi Li, Liangliang Chen, Jinyan Liu, Zhiqi Song, Jidong Zhang, Hongming Li, Yuchen Zhu

分類: cs.RO, cs.LG

原文アブストラクト

Generalist vision--language--action (VLA) policies learn long-horizon behavior mainly through short-horizon action prediction and reveal little beyond sampled commands. This creates two coupled bottlenecks: a single action target must implicitly absorb task progress, intermediate intent, and local reliability, while these control states remain hidden during execution. Inspired by functional principles of biological sensorimotor control, we introduce LM-X , which organizes prediction across task, event, and motor scales without claiming anatomical correspondence. Three explicitly supervised signals are emitted online and directly condition action generation: return-to-go (RTG) measures visible task progress, event-to-go (ETG) identifies the next semantic transition, and heteroscedastic action flow estimates local reliability through propagated variance. Explanation is therefore intrinsic to control rather than generated post hoc. Before a costly 20-day pretraining run on 64 NVIDIA B200 GPUs, a controlled five-task pretraining gate verifies the design: the complete model improves success by 16.0 points over the action-only backbone and by 10.8 points over the strongest single-head variant. We then train LM-X on more than 20,000 hours of real-robot trajectories, including over 1,000 hours of failed policy rollouts. LM-X achieves 74.1\% across 50 randomized-hard RoboTwin2.0 tasks versus 55.4\% for GR00T N1.7, and 68.6\% versus 50.7\% across seven real-robot tasks. RTG tracks semantic progress and visible regression, while variance rises during hesitation and oscillatory control. These results show that explicit multi-timescale predictive state can strengthen control while exposing interpretable internal estimates.

arXivで原文を読む →arXiv概要ページ