日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2611.12678

ハンズのライブラリ:世界モデルではなく手を修正せよ

Library of Hands: Fix the Hands, Not the World Model

シェア:XThreadsFacebookLINEはてブBluesky

世界モデルを凍結したまま、コマンドから実際の動作への対応(手)だけを学習なしで補正する手法を提案し、カメラ移動やコントローラ変更時でも成功率を大幅に改善した。

詳しい要約

1. どんなもの?

- ロボティクス/フィジカルAIにおける world model ベースの planner のロバスト性問題を扱う研究 - world model は行動後のシーン変化を予測し、planner が goal 到達のための行動を探索する枠組み - camera 移動や controller 変更で同じ command が異なる動作になる問題(例: command を90度回転させると LeWM world model の frozen planner の成功率が77.5%から7.8%へ低下)に対処 - Library of Hands (LoH) を提案: world model を frozen のまま、command から applied action への写像(hand)のみを補正する training-free 手法

2. 先行研究と比べてどこがすごい?

- 既存の修正法は model の再学習、training data の必要性、または set-up が戻った際に忘れてしまうという制約がある - LoH は training-free で world model を frozen に保ち、hand のみを補正する点が新しい - 追加 sensor を必要とせず、frozen model を通して hand を読み取る - 同定した hand を保存するため、再登場した set-up を再学習せず認識できる - 何も変化がない場合の性能低下は0.6ポイントのみに抑える

3. 技術・手法の肝は?

- world model を frozen のまま維持し、command から applied action への写像(hand)のみを補正 - 追加 sensor なしで、frozen model を用いて hand を読み取る: 2枚の camera 画像間の変化を最もよく説明する action を探索(reading) - 同定した各 hand を保存し、再登場する set-up を再学習ではなく認識に利用 - 変化検出時のみ hand を補正する仕組みで、変化がない場合は既存挙動を維持

4. どうやって有効だと検証した?

- closed-loop テストで3つの simulated task において成功率が28.6%から62.3%へ倍以上に向上 - 何も変化がない場合の性能低下は0.6ポイントのみ - 変更なしで他の2つの world model でも動作 - 実 robot data で pretrained された3モデル中2モデルでも動作 - 利得は reading の品質が高いほど増大

5. 議論はある?

- 実 robot data で pretrained された3モデル中1モデルでは動作しなかった点は要旨からは詳細不明 - reading の品質に利得が依存するため、reading 精度の限界や失敗条件については要旨からは不明 - 保存した hand の管理・選択・スケーリングに関する議論は要旨からは不明 - 実機 closed-loop での検証範囲は要旨からは不明

6. 次に読むべき論文は?

- LeWM world model(比較対象として明示) - 他の2つの world model(要旨で併用検証、名称は要旨からは不明) - 実 robot data で pretrained された3モデル(名称は要旨からは不明) - world model ベース planning の関連手法(同分野の定番として Dreamer 系や model-based RL の planner など)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hasaan Ahmad, Qizhen Ying, Yuxuan Sun, Tianjin Huang, Guangming Wang

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

A world model predicts how a scene changes after an action, and a planner uses it to search for actions that reach a goal. If the camera moves or the controller changes, the same command moves the robot differently: when its commands are turned by 90 degrees, a frozen planner with the LeWM world model that succeeds in 77.5% of episodes succeeds in only 7.8%. Current fixes retrain the model, need training data, or forget a set-up when it returns. We propose Library of Hands (LoH), a training-free method that keeps the world model frozen and corrects only the map from commands to applied actions, which we call the hand. LoH reads the hand through the frozen model, with no extra sensor: it finds the action that best explains the change between two camera images (a reading). It stores every hand it identifies, so a returning set-up is recognised rather than re-learnt. In closed-loop tests, LoH more than doubles success on three simulated tasks, from 28.6% to 62.3%, and loses only 0.6 percentage points when nothing changes. It also works, unchanged, with two other world models and on two of three models pretrained on real robot data, and its gain grows with the quality of its readings.

関連論文

  1. 1パナソニックHDら、ロボット操作AI「T-Rex」を共同開発 12タスクで平均成功率65%研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3NVIDIA、Vera CPUのエージェント処理性能を公表 x86比で速度・電力効率を比較半導体・GPU
  4. 4Agility、SPAC合併でナスダック上場資金調達
  5. 5智元、清華大学などとCELを発表 96台のロボットで群体学習を検証研究・技術
PR本紙発行元 EmplifAI