JEDI: 文脈内模倣学習のための統合埋め込みによるデモンストレーション圧縮

- In-context imitation learning (ICIL) 向けのデモンストレーション圧縮手法 JEDI を提案する研究。 - 長いマルチモーダル軌道が context を圧迫する問題に対し、圧縮されたデモが何を保持すべきかを問う。 - デモを latent slots に圧縮し、frozen video-JEPA 空間で query episode の次段階 keyframe を予測するよう学習する。 - 多数例 (many-shot) の context 利用を可能にする。

- 従来の ICIL は test-time demonstrations で適応するが、長いマルチモーダル軌道のため context に収まる例数が制限される。 - action-only compression と比較して、LIBERO の objective controls で成功率とデモ追従性の改善を示す。 - 圧縮デモに実行に関わる情報を保持させる訓練目的として query-future prediction の有効性を示唆。 - 具体的な先行研究名の比較は要旨からは不明。

- デモを latent slots に圧縮し、frozen video-JEPA 空間で query episode の次段階 keyframe を予測するよう訓練。 - task counterfactual と process counterfactual により、slots が実行詳細を保持するよう促す。 - predictor が demonstration bank からデモを選択する構成。 - keypoint tokens での post-training により、ロボット上で human-hand conditioning を可能にする。

- LIBERO と実機ロボットでの実験を実施。 - JEDI が many-shot context を支えることを示す。 - LIBERO の objective controls により、action-only compression に対する成功率とデモ追従性の改善を確認。 - 実機での詳細な評価指標は要旨からは不明。

- 圧縮デモが保持すべき情報は何かという問いに対し、query-future prediction を訓練目的とする立場を支持する知見を提示。 - task/process counterfactual の寄与や many-shot 化の限界についての詳細は要旨からは不明。 - 実機での汎化性や他タスクへの適用性に関する議論は要旨からは不明。

- video-JEPA (frozen video-JEPA 空間の基盤手法) - in-context imitation learning (ICIL) の代表的手法 - action-only compression を用いるデモ圧縮手法 - LIBERO ベンチマーク関連研究 - keyframe prediction や keypoint tokens を用いたロボット政策学習