日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.23628

LoRN: 生成ロボットポリシーのための低ランクノイズステアリング

LoRN: Low-Rank Noise Steering for Generative Robot Policies

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済み生成ロボットポリシーの初期ノイズを低ランク射影で選択する強化学習手法を提案し、ワールドアクションモデルの動画ノイズ操作で成功率を大幅改善、実機タスクにも転移できることを示した。

詳しい要約

1. どんなもの?

- 事前学習済みの generative robot policy を、モデル重みを更新せずに初期ノイズの選択によって改善する noise steering 手法。 - 特に world-action model のような大規模 policy の高次元ノイズ入力に対応するため、Low-Rank Noise Steering (LoRN) を提案。 - 強化学習で小さな steering actor を学習し、video noise と action noise の両方を操舵する。

2. 先行研究と比べてどこがすごい?

- 評価した noise-steering 手法は、公開形態では world-action model の高次元ノイズ入力へのスケールに苦戦していた。 - 評価対象の world-action model では action noise より video noise に敏感で、video noise が操舵入力として表現力が高いことを見出した。 - DSRL の action steering が平均 +7.1 ポイントなのに対し、LoRN の video steering は base policy 比で平均 +26.2 ポイント改善。

3. 技術・手法の肝は?

- 小さな steering actor が固定の low-rank random projection を通して方向を選択する。 - norm-controlled な構成により、生成されるノイズを Gaussian sample の典型的スケール付近に保つ。 - actor の制御次元と全ノイズ次元を分離し、video と action の両入力の操舵を可能にする。

4. どうやって有効だと検証した?

- 3 つの world-action model と 10 の model-task ペアで評価。 - video steering が base policy 比で平均成功率 +26.2 ポイント、DSRL action steering は +7.1 ポイント。 - より小さな action policy でも同等の最終成功率と、一般に早期学習成功率の改善を確認。 - simulation で学習した steering actor が、追加の real-world training なしで 2 つの base policy にわたり 3 つの physical bimanual manipulation タスクへ転移。

5. 議論はある?

- 要旨からは不明(評価対象の noise-steering 手法が高次元入力へスケールしにくい点は動機として述べられている)。 - video noise の方が action noise より感度が高いという知見の一般性や、low-rank projection の設計選択に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- DSRL(action steering の比較対象) - world-action model に関する研究 - noise steering の既存手法 - generative robot policy の強化学習・fine-tuning 関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wei Liu, Abrar Anwar, Huihua Zhao, Soha Pouya, Yan Chang

分類: cs.RO

原文アブストラクト

Noise steering improves pretrained generative robot policies by learning to select their initial noise without updating model weights. We find that actions in the evaluated world-action models are more sensitive to video noise than action noise, making video noise an expressive input for steering. However, the noise-steering methods we evaluate, in their published forms, struggle to scale to the high-dimensional noise inputs of large policy classes such as world-action models. We introduce Low-Rank Noise Steering (LoRN), a reinforcement learning method that scales noise steering to world-action models. A small steering actor selects a direction through a fixed low-rank random projection, while our norm-controlled construction keeps the resulting noise near the typical scale of a Gaussian sample. This separates the actor's control dimension from the full noise dimension, enabling steering of both video and action inputs. Across three world-action models and ten model-task pairs, video steering improves average success by 26.2 percentage points over the base policy, compared with 7.1 points for DSRL action steering. For smaller action policies, the same construction achieves comparable final success while generally improving early-training success. Steering actors trained in simulation also transfer to three physical bimanual manipulation tasks across two base policies, without additional real-world training.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI