STAGE: 身体性エージェントにおける接地実行時の意味転送を診断する

- 本論文は、embodied agentにおける指示の意味理解と行動制御の間の「semantic-action gap」を診断する研究である。 - 指示の参照対象は復元できるが、その意味が連続行動に弱くしか反映されない問題を扱う。 - 固定観察の反事実ベンチマークSAT-Benchを導入し、視覚シーンとエージェント状態を固定して指示意味のみを変える。 - LIBEROのtarget-nameとpixel-grounded relation swapsで、target recoveryは100.0%と95.8%に達する一方、OpenVLAのaction sensitivityは6.8%と7.7%にとどまる。 - 追加の1,000件の合成的・時間的/手続き的反事実でもaction sensitivityは6.1%で、semantic-action transfer failureが示唆される。 - 実行時インターフェースVISAを提案し、復元意味をALLOW, DEFER, target-consistency, verified-selection決定に変換する。

- 従来のembodied language grounding評価は、指示の参照対象同定（semantic parsing）に焦点を当てがちだった。 - 本研究は、復元された意味が実際の行動にどれだけ反映されるか（semantic-action transfer）を測る点で新しい。 - SAT-Benchは視覚シーンとエージェント状態を固定し、指示意味のみを変える反事実設計により、意味と行動の因果的リンクを直接診断する。 - 既存のOpenVLAなどのpolicyが、意味を復元できても行動感度が低いことを定量的に示した。 - VISAはpolicyを更新せずに実行時の意思決定でsemantic-action gapを緩和する点で、従来の学習ベース手法と異なる。

- SAT-Bench：固定観察の反事実ベンチマーク。視覚シーンとエージェント状態を固定し、指示意味だけを変更する。 - LIBEROのtarget-nameとpixel-grounded relation swaps、および1,000件の合成的・時間的/手続き的反事実を含む。 - 診断指標：target recovery（意味復元率）とaction sensitivity（行動感度）。 - 追加診断：hidden-state, threshold-free, cross-policy, rollout diagnostics。 - VISA：実行時インターフェース。復元意味をALLOW, DEFER, target-consistency, verified-selection決定に変換する。 - VISAは軽量で、基盤policyを更新せずに動作する。

- LIBEROのtarget-nameとpixel-grounded relation swapsで、target recoveryが100.0%と95.8%、OpenVLAのaction sensitivityが6.8%と7.7%であることを示した。 - 1,000件の追加反事実でoverall action sensitivityが6.1%であることを確認した。 - hidden-state, threshold-free, cross-policy, rollout diagnosticsがsemantic-action transfer failureを支持した。 - VISAがinvalid-instruction blind executionを92.7%から2.8%に削減し、通常コマンドの94.0%を保持することを示した。 - verified selectionがtarget-consistent action exposureを改善し、基盤policyを更新しないことを確認した。

- 本論文は、embodied language評価がsemantic parsingだけでなくsemantic-action transferを測るべきだと主張する。 - semantic-action gapが複数の反事実と診断で頑健に観察されることを議論する。 - VISAが実行時の意思決定でgapを緩和できる可能性を示すが、根本的なpolicy改善ではない点が議論の余地。 - 限界や今後の課題についての詳細は要旨からは不明。

- 要旨で参照/比較されている研究：LIBERO, OpenVLA。 - 関連手法：VISA（本論文提案）、SAT-Bench（本論文提案）。 - 同分野の定番：embodied language grounding, semantic parsing, action sensitivity評価。 - 次に読むべき論文として、LIBEROやOpenVLAの原論文、およびembodied language groundingの評価手法に関する研究が挙げられる。