軌道初期化を用いたニューラル二重Qルーティングによる大規模天井搬送システムの最適化

本論文は、半導体工場などで用いられる天井走行式搬送システム（OHT）における大規模な搬送車群の経路制御問題を扱う。車両の走行時間は安全間隔、交差点アクセス、下流ブロッキング、ステーション競合などに依存するため、静的経路では不十分であり、オンライン学習による適応的ルーティングが必要となる。提案手法は、Neural Double Q-routingと呼ばれる、共有のstate-action value networkを用いた手法であり、シミュレータで生成した軌跡によるオフライン初期化と、オンラインでのDouble-Q更新、局所混雑補正、イベント層別リプレイにより学習する。

従来のtabular Q-routingは各宛先・ノード・行動の価値を独立に学習するため、疎な状態での情報共有が制限され、初期の誤った価値推定に敏感である。提案手法は、テーブルを共有ネットワークに置き換えることで、異なるルーティング文脈間での情報共有を可能にし、オフライン初期化により初期性能を改善する。また、Double Q-learningを導入し、過大評価を抑える。

手法の核は、(1) 宛先別テーブルを共有のstate-action value networkに置き換える点、(2) シミュレータで生成した軌跡を用いたreturn-to-go回帰によるオフライン初期化（warm-start）、(3) オンラインでのDouble-Q更新、(4) 局所混雑補正、(5) イベント層別リプレイ（event-stratified structured replay）である。これにより、大規模システムでもスケーラブルに学習できる。

9つのフリートサイズ（100, 150, 200 OHT）と到着率の組み合わせ設定で評価。提案手法はtabular Double Q-routingと比較して平均完了時間を0.8%〜8.8%削減。150および200 OHTの6設定で全比較手法中最良の平均完了時間を達成。100 OHTの3設定ではDijkstraが最良。完了タスク数は8/9設定でtabular Double Q-routingと1%以内の差。95パーセンタイル完了時間は8設定で減少。2つの初期化シナリオでは、オフライン初期化により完了タスク数が最大23%増加し、テール完了時間が最大15%減少。

提案手法は大規模設定で有効だが、100 OHTの小規模設定ではDijkstraが最良であり、提案手法の優位性はシステム規模に依存する。また、完了タスク数が一部設定でわずかに低下する可能性があり、トレードオフが存在する。要旨からは、他の混雑度や動的環境への一般化、実システムへの適用時の課題などは不明。

要旨で比較されているtabular Double Q-routing、Dijkstra、および関連するQ-routingの基礎研究。また、Neural network-based value function approximationやDouble Q-learningの原論文、OHTシステムの経路制御に関する他の研究が考えられる。