HUGIN: 自律物流仕分けのための視覚言語プランニングの強化

本論文は、自律物流仕分けシステム(ALSS)における視覚言語モデル(VLM)ベースの計画手法HUGINを提案する。ALSSは、空間的に分離した複数のカメラ視点を統合して計画する必要があり、これをJoint Multi-Scene Understanding (JMSU)と定式化する。HUGINは、JMSUの課題であるクロスシーン監視の不足と長い視覚コンテキストによる注意散漫に対処する訓練フレームワークである。また、評価用のデータセットSortingBenchを構築し、実環境での展開テストも行っている。

既存のVLMをJMSUに直接適用することは、クロスシーン監視の不足と長い視覚コンテキストによる注意散漫のために困難である。HUGINは、Endogenous Data AugmentationとGlobal Context Rankingという2つの補完的要素を導入し、これらの課題を明示的に解決する点が新しい。また、産業用のALSSに特化したデータセットSortingBenchを提供し、複数のVLMで一貫した性能向上を示している。

HUGINは2つの主要コンポーネントからなる。Endogenous Data Augmentationは、運用制約の下で検証済みの原子的事実を再結合し、データを増強する。Global Context Rankingは、命令表現を部分的な視覚コンテキストよりも完全な視覚コンテキストと強く整合させる。これにより、モデルが全体の視覚情報をより活用できるようにする。

SortingBenchデータセットを構築し、5つのオープンVLMに対してHUGINを適用し、対応するベースラインと比較した。例えば、Qwen3-VL-8Bの精度は63.6%から78.8%に向上した。また、各コンポーネントの有効性を検証する追加実験と、JMSUのembodiedタスクへの波及効果を確認した。さらに、15,000パッケージ以上の展開テストで実用性を実証した。

要旨からは、HUGINの各コンポーネントの寄与や、他のタスクへの一般化可能性についての詳細な議論は不明である。また、SortingBenchの規模や多様性、実環境での制約条件なども要旨からは不明である。

要旨で参照されている研究は明示されていないが、関連手法としてVLMの計画能力やマルチシーン理解に関する研究が考えられる。具体的には、Vision-Language Models (VLMs)の計画への応用、マルチカメラシステムの統合、データ拡張手法などが挙げられる。