VLMを共同デノイザーとして活用するロボット行動生成

- 拡散ベースの vision-language-action (VLA) モデルにおいて、VLM を静的な条件付け器ではなく action 生成の共同 denoiser として使う枠組み JADE (Joint Action DEnoiser) を提案する研究。 - VLM と action expert が各 denoising step で協調して action を洗練する。 - 対象はロボットの action 生成であり、RoboDojo、RoboTwin 2.0、実機双腕タスクで評価している。

- 従来の diffusion-based VLA は pretrained VLM を静的 conditioning に限定し、action expert 側で diffusion を回す構成が主流。 - JADE は VLM 自体を denoising loop に参加させ、知覚・推論を action 生成の各ステップに反映できる点が異なる。 - 特に out-of-distribution 設定での VLM の活用度を高めることを狙う。 - 共同 denoising により sampling steps を削減でき、VLM 参加の追加コストを相殺しうると主張。

- structured action latents を導入し、VLM が noisy action・visual observations・language instructions を同時に読めるようにする。 - 各 denoising step で VLM が noisy action を文脈化し、gated cross-attention を通じて action expert を誘導する。 - VLM に対し noisy から clean な action latents を復元するよう supervision し、action-learning signal を与えて perception と control を結合する。 - adaptive step-size schedule で性能と推論遅延のバランスを取る。

- RoboDojo で平均成功率 12.67% を達成し、評価した π_{0.5}-based 手法の中で最高。 - 大規模 pretrain された最近の VLA および WAM foundation models とも競争力があると報告。 - RoboTwin 2.0 でも性能向上。 - 実世界の双腕4タスクで π_{0.5} 比平均成功率 +20.8 percentage points。

- VLM を denoising に参加させる追加コストと、sampling steps 削減・adaptive step-size schedule による遅延バランスが論点。 - out-of-distribution 設定での有効性を主張するが、要旨からは詳細な限界や失敗分析は不明。 - ベースラインは π_{0.5}-based 手法および大規模 pretrain された VLA/WAM foundation models。

- π_{0.5} (JADE のベースおよび主要比較対象)。 - diffusion-based VLA の代表的手法 (action expert と VLM を cascade する構成)。 - RoboDojo、RoboTwin 2.0 を用いた VLA 評価研究。 - gated cross-attention や adaptive step-size schedule を用いる diffusion sampling 関連研究。