意味的に整合した潜在行動による身体性基盤モデルの二軸スケーリング

- 本論文は SALA を提案する。 - 一人称視点の人間動画を活用し、embodied foundation model を訓練するための手法。 - latent action models (LAMs) の枠組みに基づく。 - 課題は、既存 LAMs が video reconstruction のみで latent action を学習するため、表現が視覚的外観でクラスタ化し、人間とロボットの行動対応が困難になる点。 - SALA は latent action の意味的対応を確立することに重点を置く。 - 人間動画とロボット動画の両方で embodied foundation model を訓練するための統合 supervision signal を提供する。

- 既存 LAMs は video reconstruction のみで latent action を学習し、視覚的外観によるクラスタ化が生じ、人間とロボットの行動対応が困難であった。 - 比較対象として world-action models (WAMs) が挙げられ、LAMs は pixel prediction を避けることで訓練効率と推論コストの面で利点を持つとされる。 - SALA は paired data を必要とせず、言語記述を用いて人間とロボットのクリップ間の意味的類似度を推定し、cross-embodiment correspondence を監督する点が新しい。 - これにより、視覚的外観ではなく意味的に整合した shared latent action space を構築する。

- 言語記述を利用し、unpaired な人間クリップとロボットクリップ間の意味的類似度を推定する。 - 推定した類似度を soft neighborhood structures に変換する。 - この構造が人間の latent action を意味的に関連するロボット latent へ誘導する。 - 同時に robot action reconstruction を行い、latent space を制御に接地させる。 - 結果として得られる shared latent action space が、人間動画とロボット動画の両方を用いた embodied foundation model 訓練の統一 supervision signal となる。

- latent action supervision による二軸のスケーリングを検証している。 - (1) 一般的な人間動画の pre-training 量を増やすと、下流タスクにおける robot action prediction error が一貫して減少する。 - (2) タスク固有の人間動画による post-training 量を増やすと、実世界ロボットのタスク成功率が大幅に向上する。 - 具体的なデータセット名や評価設定の詳細は要旨からは不明。

- 要旨からは不明。 - ただし、言語記述に基づく意味的類似度推定や soft neighborhood structures の設計、unpaired データへの依存などが議論点になり得るが、本文で論じられているかは要旨からは不明。

- world-action models (WAMs)：比較対象として言及。 - latent action models (LAMs)：既存手法群として言及。 - 関連する embodied foundation model や cross-embodiment learning の研究が想定されるが、具体的な論文名は要旨からは不明。