局所学習を不安定化させないロボットポリシー精錬のためのスキーマ拘束型言語モデル

本論文は、複合異種ロボットによる分散型ナビゲーションシステムにおいて、ポリシー推論とローカル制御が異なる更新レベルで動作する問題を扱う。NetLogo-Python実装で、3台のロボットが同じ運動力学を共有しつつ異なるLLMバックエンドを使用する。各ロボットは、大規模言語モデル(LLM)ポリシーエージェント、Upper Confidence Bound (UCB)バンディット、Double Deep Q-Network (Double DQN)コントローラを独立に組み合わせる。中央LLMはチーム行動を生成せず、LLM推論はラウンドレベルのポリシー生成と洗練に限定され、ティックレベルの行動選択には用いられない。ロボット間のクロスLLM通信は、ポリシー、結果、学習フィードバックを含む共有ラウンドサマリーを通じて行われる。UCBは洗練モード選択を実行し、ポリシー条件付きDouble DQNはナビゲーション変数、アクティブポリシーパラメータ、LLM行動事前分布からティックレベルの行動選択を行う。

先行研究と比べて、LLM推論をラウンドレベルのポリシー生成・洗練に限定し、ティックレベルの行動選択をDouble DQNに委ねることで、ローカル学習の不安定化を防ぐ点が新しい。また、中央LLMを使わず、各ロボットが独立にLLMと強化学習を組み合わせ、共有サマリーを介したクロスLLM通信を行う分散アーキテクチャを提案している。これにより、異なるLLMバックエンドを持つロボット群が協調してナビゲーションできることを示している。

手法の核は、LLMポリシーエージェント、UCBバンディット、Double DQNコントローラの3層構造である。LLMはラウンドごとにポリシーを生成・洗練し、UCBが洗練モード（例：ポリシー維持、修正、新規生成）を選択する。Double DQNはポリシー条件付きで、ナビゲーション変数とLLM行動事前分布を入力としてティックレベルの行動を選択する。ロボット間の通信は、各ラウンドのポリシー、結果、学習フィードバックを含む共有サマリーを介して行われ、これが次のラウンドのLLM入力となる。

4つの構成（完全構成、LLMなし、UCBなし、Double DQNなしなど）を30ラウンドずつ評価した。固定シミュレーションでは、完全構成が90の相関ロボット・ラウンド記録すべてでゴールに到達し、中央値完了時間42ティック、P90 73.2ティックと最良で、中央値は他の構成より25.0〜39.1%低かった。これにより、構成レベルの記述的証拠を得た。

要旨からは、評価が固定シミュレーションのみで、ランダムな環境や実世界での検証が不明である。また、構成レベルの記述的証拠に留まり、統計的有意性の検定や、異なるLLMバックエンドの影響の詳細な分析は示されていない。さらに、スケーラビリティや通信コスト、収束性などの議論も要旨からは不明である。

要旨で参照されている関連研究は明示されていないが、LLMと強化学習の統合、UCBバンディット、Double DQN、マルチロボットナビゲーションに関する一般的な研究が挙げられる。具体的には、LLMを用いたポリシー生成、階層的強化学習、分散マルチエージェント強化学習などの分野の論文が関連する。