VLA2026/8/24arXiv:2608.23478

意図を持って行動する：視覚言語行動モデルのための行動意図の蒸留

Act with Intent: Distilling Behavior Intent for Vision-Language-Action Models

視覚言語行動モデルの行動デコーダに、将来の行動の意図を蒸留する手法を提案し、シミュレーションと実世界のタスクで成功率を向上させた。

詳しい要約

1. どんなもの？

本論文は、Vision-Language-Action (VLA) モデルのアクション生成を改善するための手法である Intention Distillation (INDI) を提案している。INDI は、行動クローニングに基づく従来のアクション学習に、行動の意図（behavior-level intent）を蒸留する仕組みを導入する。具体的には、訓練時に frozen teacher VLM がデモンストレーション区間を解釈し、その意図をマルチモーダル表現として抽出する。デプロイ時には、VLA モデルが中間デコーダ層でこの意図表現を復元し、行動予測を整理するために利用する。これにより、アクションデコーダが生成する行動の意味的目標を明示的にモデル化することを目指している。

2. 先行研究と比べてどこがすごい？

従来の VLA モデルは、行動クローニングによってモーターコマンドを直接学習するが、指示の下での行動の局所的な目的を暗黙的にしか捉えていなかった。また、将来情報に基づく監督（フレーム、潜在観察、軌跡、動作表現など）は、起こりうる特定の実現を捉えるだけで、共有された意味的目標を捉えていなかった。INDI は、行動の意図を明示的に蒸留することで、これらの限界を克服し、アクションデコーダが行動の意味的目標をモデル化できるようにする点が新しい。

3. 技術・手法の肝は？

INDI の核心は、訓練時に frozen teacher VLM を用いて、現在の観察、指示、粗い行動要約、対応する実行ビデオからデモンストレーション区間を解釈し、マルチモーダルな意図表現を抽出することである。デプロイ時には、VLA モデルが中間デコーダ層でこの意図表現を復元し、行動の展開方法と達成内容の表現とともに、行動予測を整理するために使用する。これにより、アクションデコーダは行動の意味的目標を明示的に考慮して予測を行う。

4. どうやって有効だと検証した？

検証は、SimplerEnv-Bridge と RoboCasa Kitchen のベンチマークで行われた。SimplerEnv-Bridge では、GR00T-N1.7 の成功率を 64.3% から 84.7% に改善し、RoboCasa Kitchen では 64.1% から 70.3% に改善した。また、π0.5 でも一貫した改善が見られた。実世界のタスクでは、平均成功率が 62.0% から 68.7% に向上し、長いホライズンのタスクでは最大 12.0 ポイントの改善が見られた。さらに、復元された潜在表現がデコーダによって使用され、行動の目的と実行の進捗を捉え、目的に依存した方法で下流の予測を整理することを分析で示した。

5. 議論はある？

議論としては、INDI がアクションデコーダに行動の意味的目標を明示的にモデル化させることで、特に長いホライズンのタスクで性能が向上することが示された。しかし、要旨からは、提案手法の限界や潜在的な欠点（例えば、teacher VLM の計算コストや、意図表現の解釈可能性など）については言及されていない。また、他の VLA モデルやタスクへの一般化についての詳細も不明である。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、future-based supervision を用いた手法（フレーム、潜在観察、軌跡、動作表現など）が挙げられる。また、比較対象として GR00T-N1.7 と π0.5 が挙げられている。次に読むべき論文としては、これらのベースライン手法や、VLA モデルのアクション学習に関する他の研究が考えられる。具体的には、behavior cloning の改善や、将来情報を利用した学習手法に関する論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sangoh Lee, Sangwoo Mo, Wook-Shin Han

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models can turn multimodal context into robot actions, but their action decoders are still trained largely by behavior cloning. This supervises which motor command was demonstrated while leaving implicit the local objective served by the behavior under the instruction. Future-based supervision enriches action learning with frames, latent observations, trajectories, or motion representations, but these signals capture particular realizations of what may happen rather than the shared semantic objective of the forthcoming behavior. We propose Intention Distillation (INDI), which distills behavior-level intent into the action decoder. During training, a frozen teacher VLM interprets a demonstrated segment from the current observation, instruction, coarse action summary, and corresponding execution video. From its standard inputs, the deployed VLA recovers the resulting multimodal intent representation at an intermediate decoder layer and uses it to organize action prediction together with representations of how the behavior unfolds and what it achieves. On SimplerEnv-Bridge, INDI improves GR00T-N1.7 from 64.3% to 84.7%, and on RoboCasa Kitchen it improves the controlled GR00T-N1.7 baseline from 64.1% to 70.3%, with consistent gains on $π_{0.5}$ across both benchmarks. In real-world tasks, INDI improves average success from 62.0% to 68.7%, with gains of up to 12.0 pp on longer-horizon tasks. Further analyses show that the recovered latent is used by the decoder, captures behavior objective and execution progress, and organizes downstream predictions in an objective-dependent manner. These results show that action decoders benefit from explicitly modeling the semantic objective of the behavior they generate.

arXivで原文を読む →arXiv概要ページ