何が起きたか
研究チームは2026年8月27日、事前学習済みの指示チューニング済み視覚言語モデル（VLM）が高水準のプランを生成し、世界モデル制御器が高周波で自律行動する「Instruct-to-Act」を発表した。7つの具現化環境（うち3つはマルチエージェント環境）で評価し、観測・行動空間を一致させた条件下で、制御器のみや直接VLM行動生成より一貫して優れた性能を示した。
詳細
Instruct-to-Actは、VLMプランナーが生成する疎で高遅延のテキスト指示に基づき、世界モデル制御器が高周波で自律行動する。制御器を言語指示可能にするため、ポリシーロールアウトのセグメントを合成指示で再ラベルし、報酬最大化・世界モデリング目的とともに行動クローニング目的を最適化する。評価では、制御器のみや直接VLM行動生成より優れ、高速制御を維持しつつ、微調整なしで異なる事前学習VLMプランナーに交換可能。6/7タスクで強力なVLAやマルチエージェントRLベースラインと競合する。
Key Facts
| Instruct-to-Actは、VLMプランナーが生成する疎で高遅延のテキスト指示に基づき、世界モデル制御器が高周波で自律行動するシステムである。 | [1] |
| 制御器を言語指示可能にするため、ポリシーロールアウトのセグメントを合成指示で再ラベルし、行動クローニング目的を報酬最大化・世界モデリング目的とともに最適化する。 | [1] |
| 7つの具現化環境（うち3つはマルチエージェント環境）で評価し、観測・行動空間を一致させた条件下で、制御器のみや直接VLM行動生成より一貫して優れた性能を示した。 | [1] |
| 高速制御を維持しつつ、微調整なしで異なる事前学習VLMプランナーに交換可能である。 | [1] |
| 6/7タスクで強力なVLAやマルチエージェントRLベースラインと競合する。 | [1] |
本紙の見方
本提案の核心は、プランニングと制御を分離するアーキテクチャにある。従来のVLAモデルは、指示から直接行動を生成するが、未知環境での低遅延な行動系列の実現に課題があった。一方、世界モデル制御器は高速な観測-行動制御に優れるが、オープンエンドなタスク指示に弱い。Instruct-to-Actは、VLMプランナーが高水準のプランをテキストで生成し、世界モデル制御器がそれを高周波で実行する。この分離により、プランナーと制御器を独立に交換・改善できる。 特に注目すべきは、マルチエージェント環境での応用だ。VLMプランナーが言語で調整し、訓練された制御器がアクチュエータとして機能する。これは、複数のエージェントが協調するタスクにおいて、言語を介したプランニングと高速な実行を両立する枠組みであり、実世界のロボットチームや自動運転などへの応用が期待される。 一方で、評価はシミュレーション環境に限られており、実環境での性能や、VLMプランナーの遅延が制御に与える影響は未検証である。また、合成指示による再ラベルがどの程度のデータ量を必要とするか、スケーラビリティの観点からも検討が必要だ。 本手法は、ロボットの行動生成におけるモジュール化の流れを強化する。プランナーと制御器の分離は、それぞれの専門化を促進し、開発効率を高める可能性がある。今後の課題は、実環境での検証と、より複雑なタスクへの適用である。
なぜ重要か
Instruct-to-Actは、VLMのプランニング能力と世界モデルの高速制御を組み合わせることで、ロボットの指示追従性能を向上させる。プランナーと制御器の分離は、モジュール開発を容易にし、実世界応用への道を開く。