日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
模倣学習arXiv:2609.36924

失敗動画から学ぶヒューマノイドスキル:Track-and-Complete

Track-and-Complete: Learning Humanoid Skills from a Single Failed Human Video

シェア:XThreadsFacebookLINEはてブBluesky

失敗した人間の動画から、失敗前の有効な動作を模倣し、推定したタスク結果に基づいてタスクを完了する手法TRACCを提案。成功実演なしでもヒューマノイドのスキル学習が可能であることを示した。

詳しい要約

1. どんなもの?

- 失敗した人間の動画から humanoid のスキルを学習する手法 TRACC を提案。 - 失敗動画の成功部分(usable motion prefix)を模倣し、失敗後の意図された結果を推論してタスクを完了させる。 - 成功したデモンストレーションを必要とせず、失敗動画を監督信号として利用可能にする。

2. 先行研究と比べてどこがすごい?

- 従来は人間の成功デモが必要で、カスタムデータ収集が求められた。 - 失敗は負例としてのみ扱われることが多かったが、TRACC は失敗動画から有用な軌道プレフィックスと意図された結果を抽出する。 - 成功軌道なしで学習できる点が新しい。

3. 技術・手法の肝は?

- 失敗動画から使用可能な運動プレフィックスを模倣し、失敗発生後はタスク完了報酬でポリシーを導く。 - 推論されたタスク結果に基づき、意図された目標を学習するパイプライン。 - 具体的なアルゴリズムやネットワーク構造は要旨からは不明。

4. どうやって有効だと検証した?

- Oops! データセットから6つの in-the-wild 失敗人間タスクで評価。 - 成功デモがない状況で失敗試行から学習する有効性を実験的に示した。 - 詳細な評価指標やベースラインは要旨からは不明。

5. 議論はある?

- 失敗人間動画が humanoid スキル学習の監督源として実行可能であると結論。 - 限界や今後の課題、失敗の種類による影響などは要旨からは不明。

6. 次に読むべき論文は?

- Oops! データセット(失敗動画を扱う研究) - 人間動画からの humanoid スキル学習(一般的な関連分野) - 失敗からの学習(failure-based learning)に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sarmad Idrees, Jongeun Choi

分類: cs.RO, cs.CV

原文アブストラクト

Learning humanoid skills from videos typically requires a successful human demonstration, which often demands custom data collection. Although failures have traditionally been treated only as negative examples in robot learning, they can still reveal a usable trajectory prefix before the task fails, as well as the intended outcome. To leverage this information from a failed-attempt video, we propose TRACC, a pipeline that imitates the useful portion of the motion trajectory and then completes the task based on the inferred task outcome. The usable motion prefix serves as prior knowledge until the failure occurs, after which the task-completion reward guides the policy to learn the intended task goal without requiring a successful task trajectory. We evaluate our method on six in-the-wild failed human tasks from the Oops! dataset. Our experimental results demonstrate the effectiveness of the proposed approach for learning from failed attempts when no successful demonstration is available. Thus, these findings establish failed human videos as a viable source of supervision for humanoid skill learning.

関連論文

PR本紙発行元 EmplifAI