LICOA: 移動型空間拡張現実のための指示条件付き光学行動学習

- 言語指示と視覚観測から、投影光の移動・配置・スケールを決定するembodied actionとしてのSARを実現するLICOAを提案。 - differential-drive chassisで部屋規模の移動、2DoF steerable mirrorと投影スケールで局所制御。 - 外部・オンボードRGBカメラとロボット制御状態を統合し、事前学習済みaction modelにマッピング。 - 150タスク・7,500エピソードのシミュレーションコーパスを構築し、実世界評価プロトコルを確立。

- 従来のSARは投影器姿勢・対象領域・運動経路が固定または指定済みと仮定。 - 本研究は投影光をembodied actionとして扱い、言語指示に基づき移動・配置・スケールを決定。 - 専用訓練データと共通評価プロトコルが無い課題に対し、シミュレーションコーパスと実世界評価を構築。 - ゼロから訓練した同一アーキテクチャと比較し、適応済みaction modelが大幅に高い成功率を示す。

- differential-drive chassisによるroom-scale approachと再配置。 - 2DoF steerable mirrorと投影スケールによるビームの高速局所制御。 - 同期した外部・オンボードRGBカメラとロボット制御状態を共有インターフェースで事前学習済みaction modelにマッピング。 - シミュレーションで一致するembodimentを構築し、150タスク・7,500エピソードのコーパスで訓練。

- 未見の実世界環境で、シミュレーションコーパスのみで訓練したモデルを評価。 - 12タスク・480回の完全閉ループ実世界実行で、最良適応モデルが成功率57.50%、SPL 40.64%。 - ゼロから訓練した同一アーキテクチャは成功率8.33%、SPL 5.15%。 - 追加150回の実世界アブレーションで、両カメラ視点とchassis・mirrorの協調制御の必要性を支持。

- 実世界での成功率は57.50%に留まり、未見環境への汎化やタスク難易度に課題。 - アブレーションから両カメラ視点とchassis・mirrorの協調制御が重要と示唆。 - シミュレーションと実世界のギャップ、評価プロトコルの一般性については要旨からは不明。 - 投影光をembodied actionとして扱う枠組みの有効性と限界が議論の焦点。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、事前学習済みaction model、instruction-conditioned action、spatial augmented reality (SAR)、differential-drive chassis、2DoF steerable mirror、SPL (success weighted by path length) が挙げられる。 - 同分野の定番として、embodied AI、vision-language-action model、mobile manipulation、projector-camera systemの文献を次に読むべき。