JADE、視覚と言語モデルを行動生成の反復過程に組み込む手法を発表

何が起きたか

arXiv掲載論文「Vision-Language Models Are Joint Denoisers in Robotic Action Generation」は2026年10月31日、VLMと行動生成の専門モデルが行動を共同で精緻化するJADEを提案した。従来の拡散型VLAでVLMが静的な条件付けにとどまる構成に対し、JADEは行動生成の各ノイズ除去段階でVLMを用いる。RoboDojoでは平均成功率12.67％となり、評価対象のπ0.5ベース手法で最高だった。

詳細

JADEは、構造化された行動潜在表現を使い、VLMが視覚観測と言語指示に加えて、生成途中のノイズを含む行動を読む。各ノイズ除去段階でVLMが行動を文脈化し、ゲート付きクロスアテンションを介して行動専門モデルを導く。さらに、ノイズを含む行動潜在表現からノイズ除去後の表現を復元するようVLMを教師あり学習させる。論文は、共同ノイズ除去によってサンプリング回数を減らし、VLM参加による追加コストを抑えるとしている。また、性能と推論遅延のバランスを取る適応的なステップ幅スケジュールを導入した。 論文によると、JADEはRoboTwin 2.0でも性能を改善し、実世界の両腕操作4タスクではπ0.5と比べて平均成功率が20.8ポイント高かった。RoboDojoの12.67％は平均成功率であり、最高という評価の範囲は論文が比較したπ0.5ベース手法である。

Key Facts

本紙の見方

JADEの中心的な変更は、VLMを行動生成の前段で指示を渡す役割に限定せず、生成途中の行動を読みながら反復的に介入させる点にある。論文が示す構成では、視覚観測と言語指示だけでなく、ノイズを含む行動潜在表現もVLMの入力となり、ゲート付きクロスアテンションを通じて行動専門モデルに情報を渡す。したがって新規性は、VLMを大きくすることではなく、知覚・言語処理と行動生成の接続を、固定条件から更新される行動表現へ移した設計にある。 この設計は、分布外の状況で事前学習した知覚・推論を行動に反映しにくいという、論文が挙げる従来構成の課題に対応する。一方、成果を示す指標は一様ではない。RoboDojoでは平均成功率12.67％で、比較対象は評価対象のπ0.5ベース手法に限られる。実世界では両腕操作4タスクの平均成功率がπ0.5比で20.8ポイント高い。両者は環境と比較の形が異なるため、数値を並べて一般的な性能差とみなすことはできない。RoboTwin 2.0についても、要旨は改善を述べるが、具体的な成功率を示していない。 実装上の論点は、VLMの反復参加が推論コストを増やし得る一方、共同ノイズ除去でサンプリング回数を減らし、適応的なステップ幅で遅延との均衡を図るという設計の両立にある。これはモデル構成だけでなく、行動生成の反復回数と実行時の遅延が評価上の焦点になることを示す。ただし、要旨には従来手法との具体的なサンプリング回数、実測推論遅延、計算資源の比較がないため、コスト低減の大きさは判断できない。 また、ノイズを含む行動からクリーンな行動潜在表現を復元する教師信号は、VLMに行動に関する学習信号を与える仕組みとして位置付けられる。実世界4タスクの改善がどのタスクで生じたか、学習データや試行数、成功率のばらつき、安全性の評価がどうなっているかは、要旨からは確認できない。今後は、異なるロボットやタスクへの適用範囲に加え、性能向上と推論遅延の実測値が同じ条件で示されるかが、手法の実用性を見極める材料となる。

なぜ重要か

JADEは、静的な視覚・言語条件付けから、生成途中の行動をVLMが読み直して行動専門モデルを導く構成へ変更した。論文が示す実世界の両腕操作4タスクでのπ0.5比20.8ポイントの改善は、この接続方式が実機タスクでも評価されたことを示すが、適用範囲や推論遅延の数値は要旨だけでは判断できない。