同一シーン、異なるタスク：VLAの合成的汎化のためのスキルアラインメント

- VLA modelsのcompositional generalizationを扱う研究。 - fine-tuningで見たskillの組み合わせにしか汎化できない問題に着目。 - 未提示の組み合わせを含むcounterfactual pairsで学習するCRAFTを提案。 - 3つのVLAモデルと2つのsimulation benchmarkで検証。 - 実機ロボットでもcompositional generalizationを改善。

- 従来のVLAは、構成skillが全て実演済みでも未提示の組み合わせに汎化しにくい。 - 失敗モードとしてvision shortcutを指摘：観測がinstructionの代理となり、類似観測に紐づく実演済み組み合わせを実行しうる。 - 未提示組み合わせのcounterfactual pairsには対応するaction targetが無いという課題に対処。 - 同じskillでも観測により必要actionが異なるため、実演actionを直接targetにできない点を扱う。 - これらを踏まえ、未提示組み合わせの成功率を上げつつ実演済み組み合わせも維持。

- counterfactual pairsを構築：demonstration observationを固定し、instructionを未提示の組み合わせに変更。 - これらのpairには対応するdemonstrated action targetsが無い。 - 必要skill自体は実演済みだが、同一skillでも観測ごとにactionが異なるため直接targetにできない。 - CRAFTは、必要skillの実演実行からsupervisionをcounterfactual pairsへ転移。 - 同一skillの実行間で再利用可能なskill representationsを用いる。

- 3つのVLAモデルと2つのsimulation benchmarkで評価。 - 未提示の組み合わせでのsuccessを改善。 - 実演済みの組み合わせでも高いsuccessを維持。 - 実機ロボットでもcompositional generalizationを改善。 - 詳細な評価指標やベースラインは要旨からは不明。

- vision shortcutという失敗モードを提示し、観測がinstructionの代理になることを議論。 - counterfactual pairsにaction targetが無い問題を指摘。 - 同一skillでも観測によりactionが異なるため、実演actionを直接使えない点を議論。 - skill representationsの再利用でsupervision転移する設計を提案。 - 限界や失敗事例、計算コストなどは要旨からは不明。

- 要旨で参照・比較されている個別研究は明記されていない。 - 関連手法としてVLA models、vision-language-action、compositional generalization、counterfactual pairs、skill representationsが挙げられる。 - 同分野の定番としてfine-tuning、imitation learning、simulation benchmarks、real robot evaluationが想定される。 - 具体的な論文名は要旨からは不明。