日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

階層強化学習arXiv:2611.25462

実演なしでスキルを組み合わせるナビゲーションとマニピュレーション

Demonstration-Free Skill Composition for Navigation and Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

実演データを使わずに階層強化学習でスキルを個別に訓練・組み合わせ、ナビゲーションとロボット操作のタスクでフラットRLより少ない学習で高性能を示した。

詳しい要約

1. どんなもの?

- MiniGrid の navigation と robotic manipulation を対象に、demonstration を用いない階層型強化学習パイプラインを評価した研究。 - navigation では 2 つの parameterised skills を再利用し、手動で与えた high-level plans の下で未見の FourRooms layouts に適用。 - manipulation では reaching・grasp alignment・lifting を別々に訓練し、後段 skill は前段 rollout で集めた状態から初期化。 - flat reinforcement learning baselines(DQN, SAC)との訓練要件・タスク性能を比較する。

2. 先行研究と比べてどこがすごい?

- 未見の navigation layouts において、階層型パイプラインは評価した flat DQN baselines を大きく上回り、かつ訓練 interaction 数も少なくて済む。 - manipulation では階層的な skill chain が flat SAC より少ない訓練ステップで済み、seed 間のばらつきも小さい。 - demonstration を用いずに skill の分割訓練と再利用を実現している点が、既存の demonstration 依存手法との違いとして示唆される。 - ただし比較対象は要旨で言及された flat DQN / flat SAC に限られ、他の階層型手法との比較は要旨からは不明。

3. 技術・手法の肝は?

- 階層型強化学習により、逐次タスクを別々に訓練した skills の合成として表現。 - navigation: 2 つの parameterised skills を再利用し、high-level plans は手動指定。 - manipulation: reaching・grasp alignment・lifting を個別に訓練し、下流 skill の初期状態を前段 skill の rollout から収集。 - 学習済みの Pick と Lift を凍結し、追加の Place skill を訓練することで stacking に再利用。 - パイプライン全体としてタスク固有の observation・reward・control 構造を含めて評価。

4. どうやって有効だと検証した?

- navigation では未見の FourRooms layouts 上で階層型パイプラインと flat DQN baselines を比較し、性能と訓練 interaction 数を評価。 - manipulation では階層的 skill chain と flat SAC を訓練ステップ数および seed 間のばらつきで比較。 - 凍結した Pick と Lift に Place skill を追加訓練し、stacking への再利用を検証。 - 具体的な評価指標・試行数・統計手法は要旨からは不明。

5. 議論はある?

- navigation の high-level plans は手動指定であり、plan 生成の自動化や汎化性については要旨からは不明。 - 比較対象が flat DQN / flat SAC に限定されており、他の階層型 RL 手法との優劣は要旨からは不明。 - manipulation の下流 skill 初期化が前段 rollout の状態分布に依存するため、分布シフトや再現性への影響は要旨からは不明。 - 実ロボットへの適用や sim-to-real の議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で比較対象として明示された flat DQN および flat SAC の原論文・実装。 - 階層型強化学習の代表的手法(options framework や feudal reinforcement learning など)に関する文献。 - MiniGrid および FourRooms 環境に関する論文。 - robotic manipulation における skill composition・skill reuse に関する研究。 - demonstration-free な階層型パイプラインや、high-level plan の自動生成に関する関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Madeleine Nouri, Gelareh Mohammadi, Francisco Cruz

分類: cs.RO, cs.AI

原文アブストラクト

Hierarchical reinforcement learning enables sequential tasks to be represented as compositions of separately trained skills. This paper evaluates demonstration-free hierarchical pipelines for MiniGrid navigation and robotic manipulation, comparing their training requirements and task performance with flat reinforcement learning baselines. The evaluation concerns complete pipelines with task-specific observation, reward and control structures. In navigation, two parameterised skills are reused across unseen FourRooms layouts under manually specified high-level plans. In manipulation, reaching, grasp alignment and lifting are trained separately, with downstream skills initialised from states collected during predecessor rollouts. Across unseen navigation layouts, the hierarchical pipeline substantially outperforms the evaluated flat DQN baselines while requiring fewer training interactions. In manipulation, the hierarchical chain requires fewer training steps than flat SAC and exhibits lower observed variation across seeds. The frozen Pick and Lift skills are further reused for stacking by training an additional Place skill.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI