日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モバイルマニピュレーションarXiv:2611.25366

マニピュレーション方策から移動を学習する空間潜在行動表現による目標姿勢不要のモバイルマニピュレーション

Learning to Move from and for Manipulation Policies: Spatializing Latent Action Representations for Goal-Pose-Free Mobile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みマニピュレーション方策の隠れ表現を密な教師信号として活用し、候補姿勢でのタスク成功度を推定する空間条件付き埋め込みを学習。これにより目標姿勢を指定せずにナビゲーションとマニピュレーションを統合的に行う枠組みを提案した。

詳しい要約

1. どんなもの?

- 目的 - 目標姿勢を与えずに、manipulation policy の成功を意識した移動を行う mobile manipulation フレームワーク M4M を提案 - 構成 - pretrained manipulation policy の hidden representation を密な supervision として利用 - 候補ロボット姿勢ごとの manipulation 成功率を推定する spatially conditioned embedding を学習 - 推定結果を navigation policy 学習に統合し、handoff policy が navigation から manipulation への切替を判断 - 対象 - 8つの articulated-object タスク、unseen RoboCasa kitchens

2. 先行研究と比べてどこがすごい?

- 従来の課題 - navigation と local manipulation の joint training は計算・データコストが大きい - 事前定義の goal pose への navigation はタスク固有の manipulation 要件への柔軟性を制限 - 提案の利点 - pretrained manipulation policy から manipulation-aware mobility を直接学習し、joint training を回避 - goal-pose-free で移動と manipulation を統一的に扱う - 性能 - 8タスク平均成功率 47.0%(最強 baseline 26.5%、直接 manipulation 実行 19.2%) - refrigerator-closing で4つの frozen manipulation policy に対し一貫した改善

3. 技術・手法の肝は?

- 核となる表現 - manipulation policy の action-generating network の hidden representation を密な supervision に利用 - 少数の manipulation 実行結果と組み合わせ、候補姿勢でのタスク依存の manipulation 成功を表す spatially conditioned embedding を学習 - 推定と統合 - 現在の stereo observations から、未訪問姿勢での manipulation 成功を policy rollout なしで推定 - この表現を navigation policy 学習に統合 - learned handoff policy が navigation から manipulation への遷移タイミングを決定

4. どうやって有効だと検証した?

- 実験設定 - unseen RoboCasa kitchens における8つの articulated-object タスク - 比較結果 - M4M の平均タスク成功率 47.0% - 最強 baseline 26.5%、直接 manipulation 実行 19.2% - 追加検証 - refrigerator-closing 実験で4つの frozen manipulation policy に対し一貫した改善を確認

5. 議論はある?

- 主張 - goal-pose-free な移動と manipulation の統合により、タスク固有要件への適応柔軟性を確保 - pretrained policy の hidden representation を supervision に使うことで joint training のコストを回避 - 制約・議論 - 具体的な限界や失敗事例、計算コストの詳細は要旨からは不明 - handoff policy の誤判定や unseen 環境への一般化に関する議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究 - pretrained manipulation policies - navigation policy training - handoff policy - RoboCasa kitchens を用いた articulated-object タスクの baseline 研究 - 関連して読むべき定番 - mobile manipulation における navigation-manipulation 統合手法 - latent action representation や spatially conditioned embedding を用いた policy learning - imitation learning における handoff / option discovery 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Siyuan Zheng, Zhong Cao, Henry X. Liu

分類: cs.RO

原文アブストラクト

The success of manipulation policies is closely tied to the spatial relationship between the robot and the target object, as well as the task being performed, making the ability to adjust the robot's pose critical for successful execution. When the robot starts away from the task, such adjustments require coordinating navigation with local manipulation. Jointly training these capabilities incurs substantial computational and data costs, while navigating toward a predefined goal pose limits the flexibility needed to adapt to task-specific manipulation requirements. To address these challenges, we propose Learning to Move from and for Manipulation Policies (M4M), a framework that learns manipulation-aware mobility directly from pretrained manipulation policies. By leveraging the hidden representations of the policy's action-generating network as dense supervision, together with a limited number of manipulation execution outcomes, we learn a spatially conditioned embedding that captures task-dependent manipulation success across candidate robot poses. From the robot's current stereo observations, this representation estimates manipulation success at unvisited poses without rolling out the manipulation policy at each location. It is further integrated into navigation policy training, while a learned handoff policy decides when to transition from navigation to manipulation, enabling the robot to move and manipulate in a unified, task-aware manner. Across eight articulated-object tasks in unseen RoboCasa kitchens, M4M achieves 47.0% mean task success, compared with 26.5% for the strongest baseline and 19.2% for direct manipulation execution, and refrigerator-closing experiments show consistent improvements across four frozen manipulation policies.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI