日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2609.34893

ECHO: 手首装着イベントカメラによる過去と未来の文脈を統合したマニピュレーション

ECHO: Event-Augmented Context with Hindsight and Outlook for Wrist-Only Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

手首装着イベントカメラの観測を圧縮表現に符号化し、過去の把持軌跡と未来のイベント予測を組み合わせて操作方策を学習する手法を提案。露出変動に強く、RLBenchと実機でRGBベースラインを上回る。

詳しい要約

1. どんなもの？

- wrist-only の manipulation 向け latent world action model『ECHO』を提案。 - Event camera を wrist に装着し、event stream を compact な motion representation に符号化。 - 極端な露出低下でも RGB より頑健な観測を目指す。 - hindsight module と outlook module で時間的・空間的 context を policy に供給。 - RLBench と実機で評価。

2. 先行研究と比べてどこがすごい？

- RGB のみの policy は extreme exposure 下で観測が劣化する。 - 既存 event camera 利用は固定配置だと静的 scene を見落とし、wrist 装着だと訪問済み領域が FOV 外へ出る。 - ECHO は wrist-only で event を motion representation 化し、off-camera context と future 予測を統合。 - 通常照明で RGB 比 +20.6pt、RGB+event 比 +12.0pt。 - 深刻な露出低下で RGB 比 +14.6pt、RGB+event 比 +11.3pt。 - third-person camera の RGB 参照も上回る。

3. 技術・手法の肝は？

- pretrained event encoder で frame 間の visual-feature 変化を説明。 - hindsight module: past event stream を addressable な off-camera context として gripper trajectory を保持。 - outlook module: learnable event foresight queries を future action の event window 予測で supervised。 - これにより policy が upcoming scene changes を予測可能。 - wrist-only latent world action model として構成。

4. どうやって有効だと検証した？

- wrist-only RLBench tasks で評価。 - 通常照明: RGB 比 +20.6pt、RGB+event 比 +12.0pt。 - severe exposure drops: RGB 比 +14.6pt、RGB+event 比 +11.3pt。 - third-person camera を用いる RGB reference も上回る。 - 実機: wrist-mounted event camera で nominal および severely dark lighting の複数タスクを検証。

5. 議論はある？

- event camera は high dynamic range で露出劣化に強いが、配置依存の spatial-temporal 制約がある。 - 固定カメラは静的 scene 内容を逃し、wrist 装着は訪問済み領域が FOV 外へ出る。 - ECHO は hindsight と outlook でこれら制約に対処。 - 具体的な限界や失敗事例、計算コスト、一般化性の議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されているのは RGB baseline、RGB+event baseline、third-person camera を用いる RGB reference。 - 関連手法として event camera を用いた manipulation policy、latent world model、RLBench ベースの wrist-only manipulation 研究が次に読む候補。 - 個別論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinyue Wang, Yicheng Jiang, Zesen Gan, Junhao He, Jiaxu Wang, Junhao Li, Jingtao Zhang, Tianlun He, Jianan Wang, Isabel Guan, Qiming Shao

分類: cs.CV, cs.RO

原文アブストラクト

Learning-based manipulation policies relying on RGB cameras often suffer from degraded observations under extreme exposure. Event cameras mitigate this degradation by asynchronously detecting pixel-level intensity changes to offer a high dynamic range. However, their observations heavily depend on camera placement, as fixed cameras miss static scene content while wrist-mounted camera motion causes previously visited regions to leave the field of view. To address these spatial-temporal limitations, we present ECHO (Event-augmented Context with Hindsight and Outlook), a wrist-only latent world action model that encodes wrist events into compact motion representations to provide temporal and spatial context for policy reasoning. Specifically, ECHO utilizes a pretrained event encoder to explain visual-feature changes between frames. Its hindsight module preserves the gripper trajectory with past event stream as addressable off-camera context. Concurrently, the outlook module introduces learnable event foresight queries supervised to anticipate the event window for future actions, enabling the policy to predict upcoming scene changes. Evaluated on wrist-only RLBench tasks, ECHO outperforms RGB and RGB+event baselines by 20.6 and 12.0 percentage points under normal lighting, and by 14.6 and 11.3 points under severe exposure drops, respectively, while also surpassing RGB references using a third-person camera. Real-world experiments with a wrist-mounted event camera validate that ECHO outperforms RGB-only and RGB+event baselines across multiple tasks under both nominal and severely dark lighting. Project page is at https://echo-wam.github.io/.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI