長期的視覚言語行動操作のための神経記号的推論

本論文は、長期的な手順を要する操作タスクにおけるVision-Language-Action (VLA)モデルの信頼性向上を目指し、学習されたVLA制御と明示的なタスクグラフ、マルチモーダルな手続き記憶を組み合わせたニューロシンボリックな枠組みを提案している。タスクグラフは行動の依存関係、遷移、分岐条件を符号化し、記憶は現在のステップ、完了済み行動、テキスト文脈、視覚的証拠を保持する。これらが物体選択、目的地接地、サブゴール発行、状態遷移の検証を導く。さらに、人間のデモンストレーションから得た視線や顕著性の手がかりを利用し、初期研究ではロボット視点のテレオペレーションビデオに擬似視線を直接注釈してVLAのファインチューニングと推論に活用する。

従来のVLAモデルは短いスキルは実行できるが、長期的な手順ではタスク状態の持続、依存関係を考慮した推論、条件付き決定、信頼性の高い接地が脆弱である。本提案は、シンボリックな構造（タスクグラフと手続き記憶）をVLA制御に統合することで、これらの問題に対処する点が新しい。また、視線情報を直接ロボット視点に注釈する疑似視線を用いることで、クロスビュー視線転送の複雑さを回避し、デモンストレーションからの視覚的ガイダンスを効果的に活用する点も独自性がある。

手法の核は、タスクグラフによる明示的な手順知識の表現と、手続き記憶による実行状態の管理である。タスクグラフは行動の順序、依存関係、分岐条件を定義し、記憶はアクティブなステップ、完了済み行動、テキスト文脈、視覚的証拠を保持する。これらが物体選択、目的地接地、サブゴールの発行、期待される状態遷移の検証を導く。さらに、人間のデモンストレーションから得た視線や顕著性の手がかりを擬似視線としてロボット視点ビデオに注釈し、VLAのファインチューニングと推論時に利用する。

ワークスペース整理と手術器具操作という2つの長期的操作ドメインで検証している。これらのタスクは順序付き実行、視覚に基づく決定、条件分岐を必要とする。評価指標は、正しい物体と目的地の選択、サブタスク完了率、タスク進捗、ステップ順序の一貫性、完全なタスク成功率、手続き的または実行上の誤りなどである。

要旨からは、提案手法の限界や潜在的な問題についての議論は明示されていない。ただし、初期研究ではクロスビュー視線転送をバイパスし、ロボット視点のテレオペレーションビデオに擬似視線を直接注釈しているため、実際の視線データとの差が性能に影響する可能性が考えられる。また、タスクグラフの構築コストや、複雑なタスクへのスケーラビリティに関する議論は要旨からは不明である。

要旨で参照されている関連研究として、VLAモデル、ニューロシンボリック推論、タスクグラフ、視線情報を利用したロボット学習などが挙げられる。具体的には、VLAモデルの基盤となるVision-Language-Actionモデル、シンボリックプランニングと学習を組み合わせた研究、人間のデモンストレーションからの視線予測や顕著性推定に関する研究が関連する。