日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
一人称視点/接触点予測arXiv:2610.39167

EgoContact:一人称視点動画で物理的知能を評価する大規模データセット

EgoContact: Evaluating Physical Intelligence with Egocentric Video

シェア:XThreadsFacebookLINEはてブBluesky

一人称視点動画から接触点予測を評価する22.5K件のデータセットを構築し、既存手法の精度不足を示すとともに、アフォーダンス転移ポリシーのメモリとして使うことで実機把持成功率を16%から58%に改善した。

詳しい要約

1. どんなもの?

- EgoContact は、physical intelligence を評価するための大規模 egocentric video データセット - 物体のどこに接触すべきかを予測する future contact-point prediction タスクで、学習済み manipulation priors の汎化性と精度を評価 - 22.5K の人手検証済み interaction events を収録 - 各イベントは pre-contact observation、semantic intent、pixel-precise contact locations を含む - データセット提供に加え、ロボティック manipulation への有用性も実証する研究

2. 先行研究と比べてどこがすごい?

- egocentric video は汎化可能な manipulation priors の学習データとして注目されるが、physical intelligence の検証ツールとしては十分活用されていなかった - 本研究は future contact-point prediction という評価軸を設定し、大規模かつ人手検証済みの接触点アノテーションを備えた評価基盤を提供 - 既存手法が in-the-wild の多様な場面で precise な接触点予測に苦戦し、対象物体の localization にも失敗しうることを示した点が新しい知見 - 要旨からは不明:既存の egocentric データセットとの規模・アノテーション品質の直接比較

3. 技術・手法の肝は?

- 中核は EgoContact データセットの構築 - 22.5K の interaction events を人手で検証 - 各イベントに pre-contact observation、semantic intent、pixel-precise contact locations を付与 - 評価タスクとして future contact-point prediction を設定 - 学習済み manipulation priors が接触位置をどこまで正確に予測できるかを測定 - 応用として、EgoContact を既存 affordance-transfer policy の memory bank として利用 - ポリシー自体の再設計ではなく、メモリ参照先として組み込む簡便な手法

4. どうやって有効だと検証した?

- 現行手法による future contact-point prediction の評価を実施 - 複数予測を許しても precise な接触点予測が困難な場合がある - 多様な in-the-wild 場面で対象物体の localization に失敗する場合がある - ロボティック manipulation での有用性を検証 - 既存 affordance-transfer policy の memory bank に EgoContact を用いることで grasp success が向上 - simulation:14.2% → 31.2% - real robot:16% → 58%

5. 議論はある?

- 現行手法は precise な interaction contact の予測や in-the-wild での対象物体 localization に課題が残る - EgoContact のアノテーションが実ロボット manipulation に転用可能であることを示唆 - memory bank としての利用で grasp success が大幅改善 - 要旨からは不明:データセットのカバレッジや bias、semantic intent の定義詳細、失敗要因の分析、real robot 実験の設定詳細

6. 次に読むべき論文は?

- 要旨で比較・参照されている既存手法:affordance-transfer policy - 関連手法として想定されるもの:egocentric video を用いた manipulation policy pretraining、future contact-point prediction、affordance learning、visual affordance transfer - 要旨からは不明:具体的に引用・比較されている個別論文名

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Adam Deryło, Alexey Gavryushin, Daniel Cremers, Marc Pollefeys, Xi Wang

分類: cs.RO, cs.CV

原文アブストラクト

Egocentric video has emerged as one of the most scalable sources of data for learning generalizable manipulation priors. Yet, despite its growing use in pretraining robotic policies, it has been underutilized as a validation tool for physical intelligence, a key component of which is understanding where to make contact with an object to achieve an intended interaction. We present EgoContact, a large-scale egocentric dataset for evaluating the generalizability and precision of learned manipulation priors through future contact-point prediction. EgoContact contains 22.5K manually verified interaction events, each with a pre-contact observation, semantic intent, and pixel-precise contact locations. We find that current methods often struggle to predict precise interaction contacts and sometimes fail to localize the target object in diverse, in-the-wild scenes, even when allowed multiple predictions. Furthermore, we demonstrate the usefulness of EgoContact's annotated interactions for robotic manipulation: simply using EgoContact as the memory bank of an existing affordance-transfer policy improves grasp success from 14.2% to 31.2% in simulation and from 16% to 58% on a real robot.

PR本紙発行元 EmplifAI