日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2608.13438v1

接触前実行監視:行動条件付き潜在世界モデルによるコンタクトガード

ContactGuard: Pre-Contact Execution Monitoring with Action-Conditioned Latent World Models

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの接触を伴う操作において、接触前に失敗を予測して動作を中断する監視システムを提案。潜在空間での世界モデルを用いて、計画された行動の結果を予測し、失敗の可能性を検出する。

詳しい要約

1. どんなもの?

ContactGuardは、接触を伴う操作タスクにおいて、ロボットが物体に接触する前に失敗を予測し、実行を中断するためのpre-contact execution monitorである。chunked visuomotor policiesを対象とし、計画されたaction chunkに基づいて潜在視覚空間での短期的な結果を予測し、失敗の可能性が高い場合に動作を中止する。wrist-camera設定での接触リッチな操作タスクに焦点を当てている。

2. 先行研究と比べてどこがすごい?

従来の失敗検出は接触後に反応するため、接近動作が不適切な場合、物体を押したり、見逃したり、滑らせたり、乱したりする可能性がある。ContactGuardは接触前に予測を行う点で優れており、未ラベルのロボット軌跡から学習した潜在世界モデルを用いて、ピクセルレベルの予測を避けつつ、コンパクトなマルチビュー視覚埋め込みを予測する。また、基盤となるポリシーを変更せずに、事前接触アボート信号として機能する。

3. 技術・手法の肝は?

手法の核心は、潜在世界モデルと失敗プローブの2段階構成である。潜在世界モデルは、未ラベルのロボット軌跡から、計画されたアクションの下でのコンパクトなマルチビュー視覚埋め込みを予測するように訓練される。失敗プローブは、小さなラベル付き事前接触クリップから訓練され、予測された潜在表現が失敗を示すかどうかを分類する。展開時には、接触イベントの直前に予測を固定し、ポリシーのアクションでモデルをロールアウトし、接触後の潜在表現を検証する。

4. どうやって有効だと検証した?

実世界の接触リッチな操作タスクにおいて、直接的なベースラインや破損アクションを用いたアブレーションと比較して、失敗予測の精度が高いことを示した。また、ライブロボットでの事前接触アボート信号として機能し、基盤ポリシーを変更せずに転移できることを実証した。

5. 議論はある?

要旨からは、潜在世界モデルの予測精度や、ラベル付きデータの量に対する感度、異なるタスクや環境への一般化可能性などについての詳細な議論は不明である。また、事前接触でのアボートが常に最適かどうか(例えば、接触後に成功する可能性がある場合)についての考察も要旨には含まれていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、chunked visuomotor policies(例えば、Action Chunking with Transformers)や、潜在世界モデルを用いたモデルベース強化学習(例えば、Dreamer)が挙げられる。また、失敗検出のための従来手法(例えば、接触後の異常検出)も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gehan Zheng, Matthew Johnson-Roberson, Weiming Zhi

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Contact-rich manipulation failures are often detected only after the robot has committed to contact. This is especially limiting in wrist-camera setups: close gripper--object views help observe contact, but a poor approach may already push, miss, slip, or disturb the object before conventional detectors react. We introduce \emph{ContactGuard}, a pre-contact execution monitor for chunked visuomotor policies. Given the policy's planned action chunk, ContactGuard predicts its short-horizon consequence in latent visual space and aborts if the predicted future latent indicates likely failure. Its latent world model is trained from unlabelled robot trajectories to predict compact multi-view visual embeddings under planned actions, avoiding pixel-level video prediction. A lightweight failure probe is then trained from a small labelled set of pre-contact clips. At deployment, ContactGuard anchors prediction before an imminent contact event, rolls the model forward under the policy's own actions, and verifies the predicted post-contact latent. Across real-world contact-rich manipulation tasks, ContactGuard predicts failure more accurately than direct and corrupted-action ablations, and transfers to live robot as a pre-contact abort signal without modifying the underlying policy.