EgoLAP: 言語-行動推論による一人称視点の人間データからの学習

EgoLAPは、egocentric human dataを活用してrobot learningをスケールさせるVLA pre-training framework。人間とロボットのtrajectoryから、共有されたlanguage-based action chain-of-thoughtを通じて共同学習する。motion intentを構造化・時間抽象化されたlanguage actionとして表現し、scene geometry・physics・object affordancesに基づくmotion-level reasoningと組み合わせる。

従来はembodiment gapのため生の人間trajectoryは制御のsupervisory targetとして不適だった。EgoLAPは低レベルactionはembodiment固有でもmotion intentは人間とロボット間で転移可能なtask-relevant structureを捉える点を活用。代替action representationより人間経験をロボット制御に効果的に転移し、実世界タスク進捗80.1%平均、代替比2.3倍の性能向上を達成。

VLA pre-training frameworkで、人間とロボットのtrajectoryを共有のlanguage-based action chain-of-thoughtで共同学習。motion intentを構造化・時間抽象化されたlanguage actionとして表現し、scene geometry・physics・object affordancesに基づくmotion-level reasoningとペアにする。

広範な実世界およびシミュレーション実験を実施。EgoLAPは代替action representationより人間経験をロボット制御に効果的に転移し、実世界タスク進捗80.1%平均、代替比2.3倍の性能向上。motion-level reasoningはsubtask・object-box・visual-trace reasoningを組み合わせたcomposite reasoning formatより優れる。

motion-level reasoningがcomposite reasoning format（subtask・object-box・visual-trace reasoningの組み合わせ）を上回ることが示された。その他の議論や限界は要旨からは不明。

要旨で参照/比較されているのは代替action representationsとcomposite reasoning format（subtask, object-box, visual-trace reasoning）。関連手法としてVLA pre-trainingやegocentric human dataからの学習が挙げられる。