日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2611.22367

FailureGen:ワールドモデルによるスケーラブルなロボット失敗データ生成

FailureGen: Scalable Robot Failure Data Generation with World Models

シェア:XThreadsFacebookLINEはてブBluesky

実ロボットの失敗軌道をワールドモデルで別の状況に転写し、時間的イベント注釈付きの合成失敗動画を生成する手法。失敗検出器の精度向上を実証した。

詳しい要約

1. どんなもの?

- ロボットの失敗データをスケールして生成する手法 FailureGen の提案 - 記録済み失敗の action trajectory を再利用し、時間的イベント注釈付きの合成動画を生成 - 下流応用として視覚的 failure detection を想定 - 2つのタスク・ロボット構成で実装を検討

2. 先行研究と比べてどこがすごい?

- ロボット失敗は大規模収集が困難で、学習データ中の失敗シナリオの多様性が限られるという課題に対処 - 実記録の失敗を別の文脈へ再利用することで、失敗研究・下流学習用データを拡張 - 実データのみの検出器と比べ、生成データ併用で average precision 0.51 対 0.41、検出区間 33/36 対 28/36 と改善 - 具体的な先行研究名との比較は要旨からは不明

3. 技術・手法の肝は?

- 4段階から構成 - (1) 成功・失敗の実実行で action-conditioned Cosmos world model を fine-tuning - (2) 元記録を注釈し、failure-associated donor segments と互換性のある successful hosts を同定 - (3) donor motion を host 文脈へ転送し、任意で spatial offsets を加えて連続 video rollouts を生成 - (4) 観測イベントと視覚品質に基づき生成サンプルを注釈・filtering

4. どうやって有効だと検証した?

- 2つの実装で異なるタスク・ロボット構成を検討 - 視覚的 failure detection を下流応用として評価 - 実データ+生成データで学習した検出器は average precision 0.51、実データのみは 0.41 - 失敗区間の検出は 36 中 33 対 36 中 28 - 予備的比較との記述あり

5. 議論はある?

- 観測済み失敗を追加文脈で再利用することで失敗データを拡張可能と主張 - 下流学習手法開発への活用可能性を議論 - 限界・失敗生成の一般化性・実ロボットへの影響など詳細な議論は要旨からは不明 - 比較は preliminary とされており、より広い評価は要旨からは不明

6. 次に読むべき論文は?

- Cosmos world model(action-conditioned world model として利用) - 視覚的 failure detection の関連研究 - ロボット失敗データセット・failure learning に関する研究 - 要旨で直接参照される個別論文は不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Akul Santhosh, Chaitra Sathe, Aastha Jhunjhunwala

分類: cs.RO, cs.AI

原文アブストラクト

Robot failures are difficult to collect at scale, limiting the range of failure scenarios represented in robot learning datasets. We present FailureGen, a method for generating synthetic videos with temporal event annotations by reusing action trajectories from recorded failures. The method comprises four stages: (1) fine-tuning an action-conditioned Cosmos world model on successful and failed real executions; (2) annotating source recordings to identify failure-associated donor segments and compatible successful hosts; (3) transferring donor motion into host contexts, with optional spatial offsets, to generate continuous video rollouts; and (4) annotating and filtering the generated samples according to observed events and visual quality. We study two implementations with different tasks and robot configurations, with visual failure detection serving as one downstream application. In a preliminary comparison, a detector trained on real and generated data achieves an average precision of 0.51, compared with 0.41 using real data alone, and detects 33 of 36 failure intervals, compared with 28 of 36. By reusing observed failures in additional contexts, FailureGen expands the data available for studying robot failures and developing downstream learning methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5NTT、ロボットの行動前に荷崩れを予測研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI