推論時に行動表現を誘導するSTAR

- Vision-language-action models (VLAs) の推論時改善手法。 - 学習不要(training-free)で事前学習済み VLA に適用可能。 - 後段層の action representation における visual grounding 不足を緩和する。 - ロボットマニピュレーションのタスク成功率向上を狙う。

- 著者らの probing 実験で、action 出力近傍の action representation がタスク関連の visual grounding を十分保持しないことを発見。 - この late-layer grounding gap に着目した点が動機。 - モデル更新やアーキテクチャ変更を必要とせず、推論時のみで改善する点が特徴。 - 具体的な先行研究との比較数値は要旨からは不明。

- 後段層の residual updates に exponential moving average を適用。 - これにより後段の action representation が前段層の object-aware な更新方向を継承する。 - 直近の proprioceptive states を用いて mixing strength を適応的に調整。 - 実行ダイナミクスが急変する場合は保守的な mixing を行う。

- ロボットマニピュレーションのベンチマークで実験。 - 後段層の object awareness が改善することを確認。 - 平均タスク成功率が 4.0 percentage points 向上。 - 具体的なベンチマーク名や比較手法は要旨からは不明。

- late-layer grounding gap の存在と、その推論時緩和の有効性を示唆。 - proprioceptive states に基づく mixing 強度調整の妥当性が論点になり得る。 - 成功率向上幅 4.0 percentage points の一般性や限界は要旨からは不明。 - 詳細な議論は要旨からは不明。

- 本手法が対象とする Vision-language-action models (VLAs) の代表的研究。 - residual updates や exponential moving average を用いた representation steering 関連研究。 - visual grounding と action representation の関係を調べた probing 研究。 - ロボットマニピュレーションの標準ベンチマーク関連研究。