日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2609.18324

RAFAIL: ロボットマニピュレーションにおける関係性に着目した失敗検出

RAFAIL: Relationship-Aware Failure Detection for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

VLMで成功デモを注釈付けし、タスクに関連するエンティティ間の関係性の異常を検出することで、失敗データなしにロボット操作の実行失敗を検出するフレームワークを提案。

詳しい要約

1. どんなもの？

- ロボットマニピュレーション実行中の失敗検出フレームワーク RAFAIL を提案。 - タスク関連の関係性（gripper-object、object-target など）の異常を検出。 - VLM で成功デモをオフライン注釈し、point-cloud ベースの関係表現を学習。 - 実行時は関係重要度とタスク進捗を VLM 推論なしで予測し、関係特異的 OOD 検出器で評価。 - 失敗データ不要で、3つの実世界タスクで balanced accuracy 73.4% を達成。

2. 先行研究と比べてどこがすごい？

- VLM は意味的評価が可能だが実行時計算コストが増大。 - OOD 検出器は無害なシーン変動に反応し、失敗関連の逸脱を捉えにくい。 - RAFAIL は OOD 検出をタスク関連部分に集中させ、無関係な変動への感度を低減。 - 失敗データを必要とせず、評価した OOD および uncertainty ベースの最強ベースラインを上回る。

3. 技術・手法の肝は？

- オフラインで VLM が成功デモにタスク進捗と関係重要度を注釈。 - これを用いて point-cloud ベースの関係表現を学習（policy 内部特徴に依存しない）。 - 実行時、関係特異的 OOD 検出器がこれらの表現を評価。 - 関係重要度とタスク進捗は VLM 推論なしで予測。 - タスク関連関係の異常を検出することで失敗を判定。

4. どうやって有効だと検証した？

- 3つの実世界ロボットマニピュレーションタスクで評価。 - balanced accuracy 73.4% を達成。 - 評価した OOD ベースおよび uncertainty ベースの最強ベースラインを上回る。 - 失敗データを用いずに検出を実現。

5. 議論はある？

- 要旨からは不明。 - 限界や失敗ケース、計算コスト、VLM 注釈の品質依存性などは記述されていない。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：VLM ベースのタスク成果評価、OOD 検出器、uncertainty ベースの失敗検出。 - 関連手法：point-cloud ベースの関係表現学習、関係特異的 OOD 検出。 - 同分野の定番：ロボットマニピュレーションにおける失敗検出、OOD 検出、VLM を用いたタスク評価。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Loris Schneider, Edgar Welte, Rania Rayyes

分類: cs.RO

原文アブストラクト

Detecting failures during execution is essential for reliable robotic manipulation. Vision-language models (VLMs) can assess task outcomes semantically but add runtime computation, whereas out-of-distribution (OOD) detectors may respond to harmless scene variations rather than failure-relevant deviations. We introduce RAFAIL, a framework for detecting execution failures during robotic manipulation. RAFAIL identifies failures by detecting anomalies in task-relevant relationships between entities, such as a gripper and an object or an object and its target. By focusing OOD detection on relevant parts of the observation, RAFAIL reduces sensitivity to task-irrelevant scene variation. Offline, a VLM annotates successful demonstrations with task progress and relationship importance, which are used to learn point-cloud-based relationship representations without relying on policy-internal features. At runtime, relationship-specific OOD detectors evaluate these representations while relationship importance and task progress are predicted without VLM inference. RAFAIL requires no failure data and achieves 73.4% balanced accuracy across three real-world robotic manipulation tasks, outperforming the strongest evaluated OOD- and uncertainty-based baselines.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI