日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.24062

JEPA Dots: 言語誘導ロボット制御のためのデュアル潜在世界モデル

JEPA Dots: Dual-Latent World Model for Language-Guided Robot Control

シェア:XThreadsFacebookLINEはてブBluesky

視覚ダイナミクスと言語誘導制御を別々の潜在表現で学習する小型の世界モデルを提案し、指示に応じて行動を変えつつ固定行動の予測結果は保つ構成で、LIBEROタスクで高い成功率を達成した。

詳しい要約

1. どんなもの?

- 言語誘導ロボット制御のための予測型 world model フレームワーク「JEPA Dots (Dynamics-Oriented Task Separation)」 - 視覚 dynamics と言語誘導 control を別々の潜在表現で同時学習する compact な dual-latent 構成 - 約 39.1M parameters の小規模モデル - 構成要素 - 言語条件付き task 特徴が flow-matching policy を導く - masked attention により world prediction を instruction 非依存の dynamics 履歴と入力 action に限定 - 対象は LIBERO 上の言語誘導ロボット操作タスク

2. 先行研究と比べてどこがすごい?

- 従来の予測型 world model は、同一観測・同一 action でも instruction が予測結果を変えてしまう conditioning 問題を抱える - 提案法は dynamics 表現と task 表現を分離し、instruction が action 選択のみに影響し予測結果を変えない設計を狙う - 性能面の比較 - LIBERO 40 タスク closed-loop で 84.9% の overall success、約 39.1M parameters - 比較対象 NanoVLA-S は公表値 78.7%、161.0M parameters(ただし評価プロトコルが異なる) - 参照実験では task-ID 条件付き適応ベースラインの 76.0% から 84.9% へ改善、LIBERO-Goal は 67.1% から 88.5% へ向上

3. 技術・手法の肝は?

- dual-latent 設計 - dynamics 表現: instruction に依存しない視覚 dynamics を学習 - task 表現: 言語 instruction を条件とする制御用特徴 - policy 側 - 言語条件付き task 特徴を入力とする flow-matching policy で action を生成 - world model 側 - masked attention で world prediction の参照範囲を instruction 非依存の dynamics 履歴と供給 action に制限 - これにより固定観測・固定 action 下での予測の instruction 不変性を狙う - 詳細なネットワーク構成や学習損失の記述は要旨からは不明

4. どうやって有効だと検証した?

- LIBERO の学習済み 40 タスクでの closed-loop 評価 - overall success 84.9%、約 39.1M parameters - 参照実験(同一プロトコル内)での比較 - task-ID 条件付き適応ベースライン 76.0% → 84.9% - LIBERO-Goal 67.1% → 88.5% - instruction-switching 実験 - 言語変更に対し task 表現と policy 出力が応答することを確認 - 固定観測・供給 action 下で dynamics 表現と world prediction が不変であることを確認 - NanoVLA-S との比較は評価プロトコルが異なる点に留意

5. 議論はある?

- 要旨は conditioning 問題の設計的解決と分離の検証を主張するが、以下の議論は要旨からは不明 - 評価プロトコル差を踏まえた NanoVLA-S との公平な比較 - 実機や LIBERO 以外の環境への汎化 - 言語の複雑さ・多様性に対する限界 - 計算コストや学習安定性の詳細 - instruction 不変性の検証は instruction-switching 実験に基づく限定的な確認であり、一般性の議論は要旨からは不明

6. 次に読むべき論文は?

- NanoVLA-S(要旨で比較されている vision-language-action ベースライン) - flow-matching policy 関連の先行研究(要旨では具体的名称は不明) - JEPA 系の world model 研究(名称は要旨で明示されず、同分野の関連手法として) - LIBERO ベンチマークを用いた language-conditioned robot control の代表的研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xianhao Pan, Chi Li, Hanchao Li, Yunxin Liu, Jiankai Sun, Luhui Hu

分類: cs.RO

原文アブストラクト

Predictive world models for language-guided robot control face a fundamental conditioning challenge: instructions should influence action selection without altering the predicted consequences of fixed actions under identical observations. To address this challenge, we introduce JEPA Dots (Dynamics-Oriented Task Separation), a compact dual-latent framework that jointly learns visual dynamics and language-guided control through separate dynamics and task representations. Language-conditioned task features guide a flow-matching policy, while masked attention restricts world prediction to instruction-independent dynamics history and supplied actions. In closed-loop evaluation on 40 trained LIBERO tasks, JEPA Dots achieves 84.9% overall success with approximately 39.1M parameters, compared with the published 78.7% of NanoVLA-S with 161.0M parameters under a different evaluation protocol. In the reference experiment, JEPA Dots also improves overall success from 76.0% for our task-ID-conditioned adaptation baseline to 84.9%, with LIBERO-Goal success increasing from 67.1% to 88.5%. Instruction-switching experiments further confirm that task representations and policy outputs respond to language changes, while dynamics representations and world predictions remain invariant under fixed observations and supplied actions.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI