推論コストなしの推論：ロボットVLAポリシーのための潜在意味的足場

本論文は、ロボットのVision-Language-Action (VLA)モデルに対して、推論コストを増やさずに物理的推論能力を獲得させる手法「Latent Semantic Scaffolding (LSS)」を提案している。LSSは、人間のデモンストレーションによる事前学習中に補助損失を導入し、VLAのアクショントークン表現を物理的推論の根拠（rationale）のテキスト埋め込みに整列させる。推論時には、そのための小さなprojection headを除去するため、ベースポリシーは変更されず、追加コストはゼロとなる。

従来のVLAモデルは模倣学習で訓練され、行動自体は学習するがその理由は学習しない。因果推論を追加すると操作性能は向上するが、推論トークンの生成や将来状態の予測ロールアウトを毎ステップ行うため、長いタスクではコストが累積する。LSSは、この推論の利点を訓練中に獲得し、デプロイ時には破棄することで、推論コストをゼロにしながら性能向上を実現する点が新しい。

手法の肝は、整列の粒度にある。具体的には、各アクショントークンを、それが属する操作フェーズ（manipulation phase）のrationaleに対応するテキスト埋め込みに整列させる「Dense LSS」を提案している。これに対し、エピソード全体をプールした単一の埋め込みに整列させる「Pooled LSS」は、訓練タスクへの過特化を招く。Dense LSSは、小さなprojection headを介してアクショントークン表現をテキスト埋め込みに近づける補助損失を追加し、訓練後はheadを除去する。

有効性は、分布内タスクの成功率と、整列時に見られなかったタスクへの転移性能で検証している。Dense LSSは分布内成功率と転移性能の両方で最高を達成し、Pooled LSSは訓練タスクに過特化することが示された。さらに、表現プローブを用いて、Dense LSSがバックボーン内のフェーズごとの分離可能性を約2倍に高めることを確認し、フェーズ局所的な整列が主要なメカニズムであることを示した。

要旨からは、Pooled LSSの過特化やDense LSSの優位性の理由についての議論はあるが、具体的な限界や将来課題は不明。また、LSSが適用可能なタスクの範囲や、テキストrationaleの生成方法、実ロボットでの検証などは要旨に含まれていないため、不明である。

要旨で参照されている先行研究は明示されていないが、関連する手法として、VLAモデル（Vision-Language-Action models）、因果推論を追加する手法（causal reasoning）、推論トークン生成や将来状態予測を用いる手法が挙げられる。次に読むべき論文は、これらの基盤となるVLAモデルや、推論コストを削減する手法に関する研究が考えられる。