メタ推論/計画2026/10/16arXiv:2610.23662

ロボットのメタ推論学習：リアルタイム制御のための適応的計算予算

Learning Robot Metareasoning: Adaptive Computation Budgets for Real-Time Control

移動しながらの計画における計算時間と反応性のトレードオフを、状態に応じて計算予算を動的に決める強化学習ポリシーとして定式化し、ナビゲーション・ドローン飛行・マニピュレーションで固定予算を上回る性能を示した論文。

詳しい要約

1. どんなもの？

- 移動しながら計画するロボットのための、計算予算(computation budget)を適応的に決める手法 - 計画と実行が並行する状況で、open-loop action chunkの長さとsolverへの割当時間を単一の意思決定として扱う - これをsemi-Markov decision process (SMDP)として定式化し、強化学習で方策を学習 - 地上ロボットnavigation、agile quadrotor flight、contact-rich manipulationに適用

2. 先行研究と比べてどこがすごい？

- 既存のcontrollerはaction commitment(=計算予算)をdeployment前に固定しており、offline static tuningに依存 - 最適な計算時間はunmodeled dynamics、safety constraints、marginal optimisation gainsなどによりstate-dependent(動的) - 固定予算ではcritical maneuvers時にblindになる、またはglobal effective solutionsを見つけられないリスク - 本研究はstate依存的に予算を変化させ、fixed-budget baselinesを上回る効率的なreasoning patternsを発見

3. 技術・手法の肝は？

- 最適なcomputation budgetの同定をSMDPとして定式化 - 単一のdecisionがrobot action commitmentsとsolverに割り当てる時間の両方を定義 - 現在のstate、実行中のplan、安価なplanner statisticsを条件とした強化学習policyを訓練 - これによりシナリオの要求に応じてbudgetを変化させる

4. どうやって有効だと検証した？

- ground-robot navigation、agile quadrotor flight、contact-rich manipulationの3領域で検証 - 学習されたpolicyがシナリオの要求に応じてbudgetを変化させることを確認 - fixed-budget baselinesを上回る効率的なreasoning patternsを発見したと報告

5. 議論はある？

- 要旨からは不明(具体的な限界や失敗ケース、計算コスト、汎化性に関する議論は要旨に記載なし) - 示唆として、offline static tuningのリスク(blind during critical maneuvers等)を動的予算で緩和する点が議論の出発点

6. 次に読むべき論文は？

- 要旨で参照/比較されているfixed-budget baselines(固定action commitmentの既存controller) - semi-Markov decision process (SMDP)を用いたplanning/control関連研究 - reinforcement learningによるmetareasoning・adaptive computationの研究 - 同分野の定番としてMPC(Model Predictive Control)やlearning-based navigation/controlの代表的手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lorenzo Magnino, Antonio Marino, Michael Amir, Daigo Shishika, Amanda Prorok

分類: cs.RO

原文アブストラクト

Planning while moving faces an historical trade-off between deliberation and reactivity. A planner running concurrently with execution needs time to compute, so the robot must commit to an open-loop action chunk for that duration: a longer commitment buys a better plan at the cost of feedback frequency. Existing controllers fix this action commitment, and consequently the computation budget, before deployment. However, the optimal computation time is highly state-dependent (due to factors such as unmodeled dynamics, safety constraints, and marginal optimisation gains), i.e. dynamic, therefore offline static tuning risks leaving systems blind during critical maneuvers or unable to find global effective solutions. We cast the identification of the optimal computation budget as a semi-Markov decision process (SMDP) in which a single decision defines both the robot action commitments and the time allocated to the solver. To solve this, we train a reinforcement-learning policy conditioned on the current state, the executing plan, and inexpensive planner statistics. Across ground-robot navigation, agile quadrotor flight, and contact-rich manipulation, the learned policy changes its budget with the demands of the scenario, discovering efficient reasoning patterns that outperform fixed-budget baselines. https://lorenzomagnino.github.io/learning-robot-metareasoning-review/

arXivで原文を読む →arXiv概要ページ

← 論文一覧