Auto-HSI: LLMによるオンライン自動コード生成を用いたロボット群のオンデマンド個人向け操作

- 本論文は Auto-HSI を提案する。 - 自然言語記述とジェスチャ実演から、ロボット群の集合行動を制御する個人向け HSI インタフェースをオンラインで自動生成する手法。 - 未訓練の操作者でも、自分のジェスチャに応じたロボット群の振る舞いを説明できることを目的とする。 - 生成コードは personalized state machines を実現し、片手・両手ジェスチャでロボットの運動、formation shape、shape deformation を遠隔操作する centralized control を可能にする。

- 先行研究との具体的比較は要旨からは不明。 - 従来の HSI は専門知識が必要な設計が多かったのに対し、自然言語とジェスチャ実演から個人向けインタフェースをオンライン自動生成する点が新しい。 - 未訓練操作者が 50 台の simulated robots を集中制御できることを示した点が特徴。

- 自然言語による行動記述とジェスチャ実演を入力とする。 - LLMs を用いてオンラインでコードを自動生成する。 - 生成コードは personalized state machines を構成し、ジェスチャ入力に応じてロボット群を制御する。 - 片手・両手ジェスチャによる centralized control を実現。

- ジェスチャ追跡とコード生成コンポーネントを性能ベンチマークで評価。 - 実人間操作者が physics-based simulator 上で 50 台の simulated robots を集中制御する live 実験を実施。 - タスクは goal を決める、shape deformation が必要な maze を通過する、2 グループに分かれて同時に 2 つの goal を決める、の 3 つ。 - nominal 条件と noisy 条件で評価。 - 操作中に個人向け Auto-HSI インタフェースを live 更新するデモも実施。 - 実ロボットの live 操作もデモ。

- 議論の詳細は要旨からは不明。 - 未訓練操作者による集中制御、ノイズ条件下での性能、オンライン更新の実現可能性が示唆される。 - 限界や課題については要旨からは不明。

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として human-swarm interaction (HSI)、LLM-based code generation、personalized state machines、centralized control、gesture-based teleoperation が挙げられる。 - 同分野の定番として swarm robotics、human-robot interaction、natural language processing の関連研究を読むべき。