何が起きたか
2024年11月29日、arXivに掲載された論文で、ロボット操作のための新しいVLA（Vision-Language-Action）モデル「CogACT」が発表された。同モデルは、既存のVLMを直接アクション予測に用いるのではなく、VLM出力に基づく専門のアクションモジュールを備えた構成を特徴とする。
詳細
CogACTは、事前学習済みの大規模VLMから派生したVLAアーキテクチャである。従来の研究が単純なアクション量子化でVLMをアクション予測に転用していたのに対し、CogACTはVLM出力に条件付けられた専門のアクションモジュールを持つ構成を提案している。アクションシーケンスモデリングには拡散アクショントランスフォーマーを用い、その設計を体系的に研究し、性能向上とスケーリング特性を示した。評価はシミュレーションと実機の5つのロボットプラットフォームで実施され、新しいロボットへの適応や未知の物体・背景への一般化に優れるとしている。同モデルは、同程度のモデルサイズ（7B）のOpenVLAと比較して、シミュレーションで平均成功率を35%以上、実機実験で55%以上上回り、大規模なRT-2-X（55B）に対してもシミュレーションで18%の絶対成功率の向上を示したと主張している。
Key Facts
| CogACTは、VLM出力に条件付けられた専門のアクションモジュールを持つ新しいVLAアーキテクチャである。 | [1] |
| アクションシーケンスモデリングに拡散アクショントランスフォーマーを用いる。 | [1] |
| シミュレーションと実機の5つのロボットプラットフォームで評価された。 | [1] |
| OpenVLA（7B）と比較して、シミュレーションで平均成功率を35%以上、実機実験で55%以上上回ったとしている。 | [1] |
| RT-2-X（55B）と比較して、シミュレーションで18%の絶対成功率の向上を示したとしている。 | [1] |
なぜ重要か
CogACTの発表は、ロボット操作におけるVLAモデルの性能向上がアーキテクチャ設計によって大きく変わり得ることを示した。これは、ロボットの汎用操作能力の実現に向けた研究開発に影響を与える可能性がある。