接触を伴う操作のための相互作用潜在表現による行動生成

- 接触を伴う操作(contact-rich manipulation)のための新しい行動表現『ILA (Interaction Latents as Actions)』を提案する研究。 - 運動・接触・力の時間発展を同時に捉える『decodable interaction latents』をポリシーの行動単位として用いる。 - この潜在表現は行動生成・評価・オフライン改善の共有表現として機能する。 - 視覚条件付きのjoint action-tactile reconstructionとtime-conditioned implicit decoderで学習する。

- 従来のロボットポリシーは行動を主にmotion trajectoryとして表現し、tactile信号は入力や補助予測ターゲットとして使うだけで、行動表現に接触ダイナミクスを明示的に符号化していなかった。 - ILAは接触・力の進展を行動ターゲット自体に符号化することで、tactile conditioningを超える利点を示す。 - 3つのポリシーファミリーで、tactile-conditioned direct-actionベースラインに対し4実世界タスク平均で21.0-36.5ポイントの成功率改善を報告。

- 視覚条件付きjoint action-tactile reconstructionとtime-conditioned implicit decoderによりinteraction latentsを学習。 - 学習したlatentをflow-matchingの生成ターゲットとして使い、pretrained VLA (vision-language-action models)やWAM (world action models)のpost-training、およびゼロからのflow-matchingポリシー学習を可能にする。 - 共有decoderが生成latentを実行可能な行動にマッピング。 - オフライン改善では、専門家デモから符号化したinteraction latentsでtactile-conditioned expert reference modelを学習。expert-consistency rewardsが成功ロールアウトからの重み付き学習を導き、observation-compatible expert referencesが失敗ロールアウトの低報酬予測の修正を導…

- 4つの実世界タスクで、3つのポリシーファミリーにわたり評価。 - tactile-conditioned direct-actionベースラインと比較し、成功率が平均21.0-36.5ポイント改善。 - アブレーションにより、tactile conditioningを超えて接触進展を行動ターゲットに符号化する利点を示す。 - 同一のlatent空間がexpert-guided offline improvementを支えることも示す。

- アブレーションは接触進展を行動ターゲットに符号化する利点を強調。 - 同一latent空間がexpert-guided offline improvementを可能にすることも議論。 - 限界や失敗事例、計算コスト、一般化性に関する具体的議論は要旨からは不明。

- 要旨で参照/比較されている研究: tactile-conditioned direct-action baselines、pretrained vision-language-action models (VLAs)、world action models (WAMs)、flow-matching policies。 - 関連手法としてtactile-conditioned policies、flow matching、offline reinforcement learning、expert-consistency rewardsが挙げられる。 - 具体的な論文タイトルは要旨からは不明。