日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.24482

劣悪データからの潜在行動ポリシー学習

Latent Action Policies from Suboptimal Data

シェア:XThreadsFacebookLINEはてブBluesky

行動ラベルなし動画から学ぶ潜在行動空間で、価値ベースのオフライン強化学習を安全に行う条件を導出し、条件付きフローポリシーで多峰性を捉えるLAPISを提案した論文。

詳しい要約

1. どんなもの?

- Latent Action Models (LAMs) を用い、action-free video から制御表現を学習する枠組みの研究。 - 既存 pipeline は latent policy を behavioral cloning で学習し、明示的な policy improvement 目的を持たない。 - 本研究は offline RL による latent 空間での policy improvement を扱い、LAPIS を提案。 - goal-conditioned な latent policy improvement 手法。

2. 先行研究と比べてどこがすごい?

- 既存 LAM pipeline は behavioral cloning のみで policy improvement を行わない点が前提。 - 標準的な offline RL を learned latent action space に直接適用すると不安定になることを指摘。 - latent action の構造に起因する失敗(実行不能な latent action、報酬の異なる物理制御の併合)を明示。 - その上で latent 空間最適化が有効となる条件を導出し、LAPIS を構築した点が新しい。

3. 技術・手法の肝は?

- policy improvement が decoded execution に転移する条件と、latent と physical の最適解が一致する条件を導出。 - LAPIS は goal-conditioned latent policy improvement を行う。 - value-based policy improvement を観測された state-latent transitions に grounding。 - conditional flow policy を用いて latent action の multimodal 構造を捉える。

4. どうやって有効だと検証した?

- 複数タスクで baseline と比較し、多くのタスクで LAPIS が優位。 - 特に visual manipulation で明確な改善。 - action labels が 1% のみの場合でも有効で、競合手法は大きく崩壊する。 - 詳細な実験設定・データセット名は要旨からは不明。

5. 議論はある?

- naive な offline RL は latent action の構造のため信頼できないと議論。 - latent action の value 最大化や unimodal policy の fitting が物理実行不能な latent action を生みうる。 - latent 表現が異なる報酬の物理制御を併合しうる問題を指摘。 - どの条件下で latent 空間最適化が妥当かを条件として整理。

6. 次に読むべき論文は?

- Latent Action Models (LAMs) の既存研究。 - behavioral cloning による latent policy 学習の先行手法。 - 標準的な offline RL 手法(value-based 手法、unimodal policy fitting)。 - conditional flow policy 関連手法。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Donghyeon Ki, Xiaoyu Chen, Jun Ho Seo, Hayeong Lee, Kyungyoon Kim, Byung-Jun Lee, Li Zhao

分類: cs.LG, stat.ML

原文アブストラクト

Latent Action Models (LAMs) learn control representations from action-free video, but existing pipelines typically train latent policies with behavioral cloning, without an explicit policy improvement objective. Although offline RL offers a natural approach to policy improvement, standard methods do not transfer directly to learned latent action spaces. We find that the structure of learned latent actions makes naive offline RL unreliable: directly maximizing value over latent actions or fitting a unimodal policy can produce latent actions that cannot be realized by physical execution, while the latent representation can merge physical controls that receive different rewards. To understand when latent-space optimization remains valid, we derive conditions under which policy improvement transfers to decoded execution and under which latent and physical optima align. Building on these insights, we propose LAPIS for goal-conditioned latent policy improvement, grounding value-based policy improvement in observed state-latent transitions and using a conditional flow policy to capture their multimodal structure. LAPIS outperforms baselines on most tasks, with the clearest gains in visual manipulation, and remains effective even with only 1% action labels, where competing methods largely collapse.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI