プランニング/行動モデル学習2026/8/31arXiv:2608.30955v1

不確実性誘導探索による条件付き・量化効果を持つ行動モデルの学習

Learning Action Models with Conditional and Quantified Effects via Uncertainty-Guided Exploration

限られた環境との相互作用から、条件付き効果や量化効果を含む行動モデルをオンラインで学習する手法OHCAMを提案。仮説間の不一致を最大化する行動選択で不確実性を減らし、ノイズに頑健で、実ロボットでも有効性を確認した。

詳しい要約

1. どんなもの？

本論文は、環境との限られた相互作用から、条件付き効果と量化効果を持つアクションモデルをオンラインで学習する手法であるOnline Hypothesis-Driven Conditional Action Model Learning (OHCAM)を提案している。OHCAMは、仮説上のアクションモデルに対する信念を維持し、競合する仮説間の不一致を最大化する情報的なアクションを能動的に選択することで不確実性を低減する。また、観測ノイズに対してロバストである。スケーラビリティを確保するため、単純なアクションモデルの仮説から始め、現在の仮説がデータと矛盾した場合にのみ、より複雑な条件へと拡張する。

2. 先行研究と比べてどこがすごい？

既存のアクションモデル学習手法は、単純なアクション表現を仮定するか、条件付き効果や量化効果を学習する際に計算量的に非現実的になることが多い。OHCAMは、オンラインで能動的な探索を行うことで、限られた相互作用から複雑な効果を効率的に学習できる点が新しい。また、仮説の複雑さを段階的に拡張するアプローチにより、スケーラビリティを実現している。

3. 技術・手法の肝は？

手法の核は、(1) 仮説空間上の信念分布を維持し、各仮説の予測と観測の一致度に基づいて更新する点、(2) 競合する仮説間の予測の不一致（vote disagreement）を最大化するアクションを選択する能動的探索戦略、(3) 観測ノイズを考慮したロバストな更新則、(4) 単純な仮説から始め、データが矛盾した場合にのみ条件を追加する段階的複雑化（starting small）戦略である。

4. どうやって有効だと検証した？

6つのベンチマーク計画ドメインを用いた実験で、OHCAMがベースラインよりも少ないサンプルで多くのタスクを解決できることを示した。また、観測ノイズがある場合でも有効であることを確認した。さらに、Kinova Gen3ロボットを用いた2つの実世界タスクで検証し、実世界への適用可能性を示した。

5. 議論はある？

要旨からは、OHCAMの仮説表現の限界や、より複雑な効果（例：非決定性効果）への拡張可能性、探索戦略の理論的保証などについての議論は不明である。また、実世界実験の詳細（タスクの内容、環境設定、ノイズレベルなど）も要旨からは不明である。

6. 次に読むべき論文は？

要旨で参照されている関連研究は明示されていないが、アクションモデル学習の分野では、古典的なARMS、LOCM、および能動的学習を用いた手法が関連する。また、計画のためのモデルベース強化学習や、信念状態を用いた能動的探索（例：Baxterの能動的学習理論）も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jeffrey Jewett, William Solow, Sandhya Saisubramanian

分類: cs.AI

原文アブストラクト

Accurate action models are critical for effective planning. Existing action-model learning methods largely assume simple action representations or become computationally intractable when learning conditional and quantified effects. We present Online Hypothesis-Driven Conditional Action Model Learning (OHCAM), an online approach for learning action models with conditional and quantified effects from limited interactions with the environment. OHCAM maintains a belief over hypothesized action models and actively selects informative actions to reduce uncertainty by maximizing disagreement among competing hypotheses, while being robust to noisy observations. To enable scalability, OHCAM begins with a small set of simple action model hypotheses and expands to more complex conditions only when the current hypotheses become inconsistent with the data. Experiments on six benchmark planning domains demonstrate that OHCAM is sample efficient in learning action models that solve substantially more tasks than baselines, even with observation noise. We validate OHCAM on two tasks using a Kinova Gen3 robot, demonstrating the real-world applicability of our approach.

arXivで原文を読む →arXiv概要ページ

← 論文一覧