見ればわかる：視覚テレオペ履歴から階層的オペレータ意図を解読する

- ロボットの teleoperation 履歴(短い視覚系列)から、人間 operator の意図を明示的な instruction なしに階層的に推定する課題を定式化した研究。 - 階層は「進行中の atomic action」と「それが奉仕する broader mission」の二層。 - 課題名は hierarchical intent prediction。 - 評価用データセット VI AMO (Vision Intention Action and Mission Ongoing) を新規構築。 - 11 の robot sources から 6,600 episodes。 - 13,653 の時間整合 action annotations、9,702 の mission annotations。 - 提案モデルは Vision-Intention Model (VIM)。VLM を VI AMO で fine-tuning したもの。 - 下流応用として、VIM の mission 予測を用いて VLA policy が operator から mid-…

- 従来の VLM 研究は scene understanding・task planning・language-conditioned control が中心で、operator の意図を instruction なしに読む問題は未開拓。 - 大規模 proprietary models はこの課題で苦戦することを定量化。 - GPT-4o は held-out episodes で Sentence-BERT similarity が action 0.563 / mission 0.470。 - GPT-5.6 Luna でも action 0.581 / mission 0.554 にとどまる。 - VI AMO で fine-tuning した VIM は action 0.825 / mission 0.821 へ大幅改善。 - 訓練で両ラベルとも欠落した test actions 35.4% でも action 0.726 / mission 0.717 を維持し、汎化性を示す。 - 下流の teleoperation 引き継ぎでも human teleopera…

- 入力は短い visual teleoperation history。明示的な言語 instruction は与えない。 - 出力は階層的意図: 現在の atomic action と、それを包含する mission を同時に予測。 - 学習は VLM を VI AMO 上で fine-tuning する方式(VIM)。 - VI AMO は 11 robot sources・6,600 episodes から成り、action と mission の時間整合アノテーションを付与。 - 評価指標は予測文と正解文の Sentence-BERT similarity。 - 下流では VIM が予測した mission を VLA policy に渡し、operator から mid-task で制御を引き継ぐ。 - 詳細な architecture・training 設定は要旨からは不明。

- held-out episodes 上で action / mission の Sentence-BERT similarity を比較。 - GPT-4o: 0.563 / 0.470。 - GPT-5.6 Luna: 0.581 / 0.554。 - VIM: 0.825 / 0.821。 - 訓練時に action・mission 両ラベルが欠落した test actions 35.4% を抽出し、そこでも VIM が 0.726 / 0.717 を達成することを確認。 - 実世界で VIM fine-tuning 時に未見の環境において、VIM の mission 予測で VLA policy が mid-task 引き継ぎを実施。 - human teleoperation time が GPT-4o 比 34.6% 減、GPT-5.6 Luna 比 39.8% 減。 - intent-prediction latency が平均約 70% 削減。

- 大規模 proprietary models でも階層的意図推定は難しく、fine-tuning の有効性が示唆される。 - 両ラベル欠落サンプルでも性能が保たれる点から、単純なラベル暗記ではない汎化の可能性が議論できる。 - 下流の VLA 引き継ぎにより teleoperation 時間と latency の削減が示され、実用上の意義が議論できる。 - 一方、要旨からは以下は不明。 - 誤予測時の安全性・失敗モードの分析。 - 11 robot sources 間の domain gap の影響。 - mission 予測の不確実性の扱い。 - 評価が Sentence-BERT similarity 中心であることの限界。

- 要旨で直接参照・比較されている研究: GPT-4o、GPT-5.6 Luna、Sentence-BERT、VLA policy。 - 関連手法として次に読む候補(要旨に明示なし、同分野の定番を一般名で): - Vision-Language-Action (VLA) モデル全般。 - Vision-language models (VLMs) の robot 向け fine-tuning 研究。 - language-conditioned control および task planning の研究。 - teleoperation からの意図推定・learning from demonstration 関連研究。