日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ナビゲーションarXiv:2610.19420

失敗から学べる世界へ：ナビゲーションエージェントのためのポリシー条件付き環境生成

From Failures to Learnable Worlds: Policy-Conditioned Environment Generation for Navigation Agents

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みナビゲーションエージェントの失敗モードをLLMで分析し、その弱点を狙った訓練環境を自動生成することで、適応性能を向上させるフレームワークWEDGEを提案した。

詳しい要約

1. どんなもの？

本論文は、事前学習済みナビゲーションエージェントの失敗モードを診断し、その弱点を狙った訓練環境を生成するフレームワーク WEDGE を提案する。 - 目的 - エージェントごとに異なる失敗原因に合わせた訓練データを生成 - 汎用的なリアリズム・多様性・タスク網羅ではなく、特定ポリシーの弱点に焦点 - 構成 - 事前学習ポリシーの成功・失敗ロールアウトを比較 - LLM が実行可能な weakness feature を提案 - 診断セットで検証し、成功率ギャップに基づき最強の弱点を選択 - 弱点を制御する環境要因を変化させ、苦手な難易度領域の環境を構築 - 対象 - 3つのナビゲーションエージェント（異なる適応機構） - ProcTHOR および HM3D での評価

2. 先行研究と比べてどこがすごい？

既存の環境生成パイプラインは、リアリズム・多様性・タスクカバレッジなどの汎用特性を最適化する傾向がある。 - 従来の限界 - より多くのデータが必ずしも特定エージェントの学習に必要なデータとは限らない - 異なる事前学習ポリシーは異なる環境要因で失敗しうる - 本研究の新規性 - ポリシーの失敗モードを診断し、それを訓練環境生成の指針として直接利用 - ポリシー条件付きで弱点を狙った環境を生成 - 弱点条件付き適応が、ランダムや hard-example の代替手法を一貫して上回る - 反復再診断により、支配的な弱点が持続または変化することを示す

3. 技術・手法の肝は？

WEDGE の技術的核心は、失敗ロールアウトから弱点を抽出し、それを環境要因にマッピングして訓練環境を生成する点にある。 - 弱点特徴の提案 - 成功ロールアウトと失敗ロールアウトを対比 - LLM が実行可能な weakness feature を提案 - 検証と選択 - 診断セット上で自動検証 - 成功率ギャップに基づき最も強い検証済み弱点を選択 - 環境生成 - 検証済み弱点を制御する環境要因を特定 - その要因を変化させ、ポリシーが苦戦する難易度領域の環境を構築 - 適応 - 生成環境で訓練し、ポリシーを適応 - 適応ラウンドごとに再診断し、更新された弱点に基づき環境を再構築

4. どうやって有効だと検証した？

3つのナビゲーションエージェント（異なる適応機構）を用いて検証。 - 比較対象 - 弱点条件付き適応 vs. マッチしたランダム vs. hard-example 代替手法 - 結果 - ProcTHOR 上で弱点条件付き適応が一貫して優位 - Uni-NaVid と Gemini では、ProcTHOR 適応後の利得が HM3D にも転移 - 反復再診断 - ポリシー改善に伴い支配的弱点が持続または変化することを確認 - 変化が次の環境構築の更新指針となることを示す

5. 議論はある？

本論文の議論の中心は、ポリシーの失敗が単なる診断信号ではなく、訓練環境構築のための実行可能な指針になるという点である。 - ポリシーごとに異なる弱点プロファイルを持ち、異なる訓練環境から利益を得る - 弱点条件付き適応は、ランダムや hard-example より一貫して有効 - 反復再診断により、支配的弱点が持続またはシフトし、後続の環境構築に更新指針を与える - 限界や今後の課題については要旨からは不明

6. 次に読むべき論文は？

要旨で参照・比較されている研究や関連手法を挙げる。 - ProcTHOR - HM3D - Uni-NaVid - Gemini - hard-example 代替手法 - ランダム環境生成 - LLM を用いた環境生成 - ナビゲーションエージェントの適応手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yue Zhang, Han Lin, Zun Wang, Yidong Huang, Zaid Khan, Mohit Bansal

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Simulated environments enable scalable training data generation for embodied agents, but more data does not necessarily provide what a particular agent needs to learn. Existing environment-generation pipelines largely optimize generic properties such as realism, diversity, or task coverage, while different pretrained policies can fail for different environmental reasons. We therefore introduce WEDGE, a framework for weakness-guided navigation learning in which the failure modes of a pretrained agent guide the generation of training environments at each adaptation round. Given a pretrained policy, WEDGE uses an LLM to propose executable weakness features from contrasting successful and failed rollouts, automatically validates them on the diagnostic set, and selects the strongest validated weakness based on its success-rate gap. The validated weaknesses are then mapped to the environmental factors that control them. WEDGE varies these factors to construct environments in the difficulty regimes where the policy struggles, producing targeted training experience for adaptation. Across three navigation agents with different adaptation mechanisms, we find that policies exhibit distinct weakness profiles and benefit from different training environments. Weakness-conditioned adaptation consistently outperforms matched random and hard-example alternatives on ProcTHOR, while the resulting gains for Uni-NaVid and Gemini also extend to HM3D after ProcTHOR adaptation. Iterative re-diagnosis further shows that dominant weaknesses can persist or shift as the policy improves, providing updated guidance for subsequent environment construction. Together, these results show that policy failures are not only diagnostic signals, but actionable guidance for constructing training environments that target a policy's current weaknesses.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI