Robota-Embed：ロボットの文脈内学習と進化のための統合VLA埋め込み

- ロボットのタスク・実行段階・続きをマッチングするための VLA embedding モデル Robota-Embed を提案。 - 現状クエリと記録された未来の継続の両方で vision-language-action の3モダリティを統合的にエンコードする初の試み。 - 予測的検索訓練で両端点を整列し、推論時に過去の継続を context として利用可能にする。 - 1,695,684 の訓練 anchor からなるマルチソースコーパスと、4,000 クエリ・8,000 エントリの共有ギャラリーを持つ Robota-Embed-Bench を構築。 - Embed2ICL と Embed2Evolve の2応用を検討。

- action-free な Gemini Embedding 2 を clip-level R@1 で 22.09 ポイント、episode-level R@1 で 33.47 ポイント上回る。 - 制御された検索研究で、native action を除くと vision を除くよりも検索性能が大きく劣化することを示す。 - Embed2ICL は DROID-Sim で成功率 47.0%→56.3%、LIBERO difficult subset で 86.4%→92.8% に改善。 - Embed2Evolve は ManiSkill 5 タスクで 68% 成功、GPT-6 Astra Direct の 24%、Omni-Embed-Nemotron-3B で独立進化させた harness の 33% を上回る。 - 後者と比べテストロールアウトあたりの policy token を約 79.5% 削減。

- vision-language-action の3モダリティを現状クエリと記録された未来継続の両方で統合エンコード。 - 予測的検索訓練 (predictive retrieval training) でクエリと継続の端点を整列。 - 推論時に過去の継続を context として利用可能にする検索空間を構築。 - 1,695,684 の cleaned training anchor からなるマルチソースコーパスを構築。 - Embed2ICL は検索経験を training-free / training-based な policy conditioning に利用。 - Embed2Evolve は実行フィードバックで task-local memory を成長させ、凍結した GPT-6 Astra policy 周辺の context 利用を洗練。

- Robota-Embed-Bench (4,000 クエリ、共有 8,000 エントリギャラリー) で評価。 - clip-level R@1 47.33%、episode-level R@1 81.77% を達成。 - Gemini Embedding 2 との比較および native action / vision 除去の制御検索研究を実施。 - Embed2ICL を DROID-Sim と LIBERO difficult subset、実ロボットで検証。 - Embed2Evolve を ManiSkill 5 タスクで検証し、GPT-6 Astra Direct および Omni-Embed-Nemotron-3B ベースの harness と比較。

- native action の除去が vision の除去よりも検索を大きく劣化させることを示し、action-aware な検索空間の重要性を議論。 - 統一された action-aware 検索空間がロボットの in-context learning と task-local context evolution を支え得ると主張。 - 限界や失敗事例、計算コスト、汎化性に関する詳細な議論は要旨からは不明。

- Gemini Embedding 2 (action-free な比較対象) - Omni-Embed-Nemotron-3B (独立進化 harness の比較対象) - GPT-6 Astra (凍結 policy および Direct baseline) - DROID-Sim、LIBERO、ManiSkill (評価環境) - VLA embedding や robot in-context learning に関する関連研究