CoRAct、VLAモデルの推論と行動を結果予測に基づき整合

何が起きたか

arXivに2026年10月29日掲載された論文は、視覚・言語・行動モデル（VLA）の推論と行動を整合させるCoRActを提案した。CoRActは、意図する動きを表す「movement」と、予想する空間上の結果を示す「waypoints」を検証可能な信号として扱い、行動生成を調整する。論文はRoboCasa、VLABench、実世界の操作課題で、既存のECoTベースのVLAモデルに対する成功率、汎化、推論と実行の整合性の改善を報告した。

詳細

CoRActは、推論、行動生成、行動に条件づけた将来予測を一体で扱うMixture-of-Transformersを採用する。サンプリングしたノイズから候補行動を生成し、movementとの一貫性と、予測結果がwaypointsに合う度合いから報酬を計算する。その報酬を用いて初期ノイズ分布をグループ相対最適化し、意図と予測結果に整合する行動へ誘導する。論文は、外部から与えられたECoTを実行可能な振る舞いに結びつけ、新しいシナリオにゼロショットで適応できるとも述べている。

Key Facts

本紙の見方

この研究の技術的な焦点は、推論文を行動生成の条件として与えるだけでなく、生成された行動が推論の内容と予測結果に合うかを報酬化する点にある。movementは「どう動くか」、waypointsは「動いた結果どこに至るか」を別々に照合する信号となる。したがってCoRActは、言語的な説明と実際の操作のずれを、行動候補の選別・最適化に結びつけようとする設計と読める。 構成上は、Mixture-of-Transformersが推論、行動生成、行動条件付き将来予測を共同で扱い、さらに候補生成に使う初期ノイズ分布を報酬で調整する。推論と行動を別々の段階としてつなぐだけでなく、予測した結果を行動選択へ戻す閉ループをモデル内に置く点が特徴だ。ただし、論文要旨から確認できるのはこの枠組みと評価結果の概要までであり、各モジュールの寄与やノイズ分布の更新が性能に与えた影響の内訳は読み取れない。 評価対象にシミュレーション環境のRoboCasa、VLABenchと実世界の操作課題を含めたことは、ベンチマーク上の成功だけでなく、実機操作を含む検証を行ったことを示す。論文は成功率、汎化、推論と実行の整合性で強いECoTベースラインを上回ったと報告するが、要旨には改善幅や課題ごとの数値がないため、効果の大きさや再現性を比較するには本文の評価条件が必要になる。 外部の視覚言語モデルが作ったECoTを実行可能な振る舞いに接続し、新規シナリオへゼロショット適応するという主張は、CoRActを単一モデルの推論生成に閉じない使い方を示す。一方、外部推論の誤りや曖昧さをmovementとwaypointsだけでどこまで検出できるか、安全制約を報酬にどう含めるか、実世界の操作で適応がどの範囲まで成立するかは要旨に記載がない。次に確認すべきなのは、課題別の数値、比較条件、実機での試行規模、失敗時の挙動である。

なぜ重要か

CoRActは、意図する動きと予測される空間上の結果を別の信号として報酬に使い、VLAの行動生成を調整する。論文はシミュレーション環境だけでなく実世界の操作課題でも評価したとしており、推論と実行の整合を評価する具体的な設計例となるが、効果の数値や適用範囲は要旨だけでは比較できない。