EgoX: 身体性ドリーミングによる一人称視点のクロスエンボディメントマニピュレーション

- EgoXは、人間・実ロボット・シミュレーションエージェントなど異なるembodimentの実演を統合して汎用manipulation policyを学習するegocentric cross-embodiment学習フレームワーク。 - 意味的に対応するobservation/action modalityでheterogeneous demonstrationsを整理する。 - Modularized Cross-Embodiment Transformer with Embodiment Dreaming (MXT+)を混合データでpretrainし、target embodimentの実演でfine-tuneする。 - 5タスク・6 embodiment(実ロボット5体とsimulated humanoid 1体)にわたる13のtask-embodiment pairで評価。

- 従来はmorphology・sensing・control interfaceの違いから、人間・実ロボット・simulated agentの実演を組み合わせた学習が困難だった。 - EgoXはsemantically correspondingなobservation/action modalityでheterogeneous demonstrationsを整理することで、この問題に対処する。 - cross-embodiment pretrainingにより、scratch学習と比べ平均normalized task progressが0.63から0.80へ向上。 - out-of-distribution条件では0.53から0.77へと特に大きな改善を示す。

- MXT+は各embodiment内でobservation modalityごとに専用tokenizer、action modalityごとに専用expertを割り当て、Transformer trunkはembodiment間で共有する。 - training-onlyのembodiment-dreaming objectiveが将来のvisual/proprioceptive stateのlatent representationを予測し、共有trunkに各embodimentのdynamicsをモデル化させる。 - 学習は混合データでのpretraining後、target embodimentの実演によるfine-tuningという2段階。

- 5タスク・6 embodiment(実ロボット5体、simulated humanoid 1体)にわたる13のtask-embodiment pairで検証。 - cross-embodiment pretrainingはscratch学習に対し平均normalized task progressを0.63から0.80へ改善。 - out-of-distribution条件では0.53から0.77へ改善。 - ablationにより、より広いpretraining mixture、modular interface、embodiment dreamingの利点を確認。dreamingはembodiment間のlatent geometryをより類似させる。

- ablationから、広いpretraining mixture・modular interface・embodiment dreamingがそれぞれ有効であることが示唆される。 - embodiment dreamingはembodiment間のlatent geometryをより類似させることが確認されている。 - 限界や失敗事例、計算コストなど詳細な議論は要旨からは不明。

- Modularized Cross-Embodiment Transformer with Embodiment Dreaming (MXT+)の詳細。 - cross-embodiment learningにおけるmodular interfaceや専用tokenizer/expertの設計に関する研究。 - embodiment dreamingやlatent dynamics predictionを用いた学習手法。 - 異種embodimentの実演を統合するgeneralist manipulation policyの関連研究(具体的な参照論文は要旨からは不明)。