Concertina: 拡散型視覚言語モデルに操作と認知を統合するeVLM

- Concertinaは、manipulationとcognitionを同一モデルにembodyすることを目指すEmbodied Vision-Language Model (eVLM)。 - 従来のVLAのように外部action機構をVLMに接続するのではなく、shared diffusion VLM backbone上で連続trajectory表現・blockwise生成・physical-coordinate supervisionを行う。 - 各control timestepをbackbone hidden space内の連続latent action tokenとして符号化し、multimodal pretrainingと同じcorrupt-and-reconstruct operatorで時間順action blockを再構成する。 - 4.46Bモデルでactive action projectionsは0.21%のみ、separate action-generator layersはゼロ。 - LIBERO、LIBERO-Plus、CALVIN ABC-Dで評価。

- 従来VLAはmanipulationとcognitionを分離し、actionをdiscrete tokenに量子化(誤差が物理変位と安定対応しない)するか、separate action expertに連続trajectory生成を委譲(gradientがVLM backboneと競合/遮断)していた。 - Concertinaはdecoupled VLAからeVLMへ移行し、action表現をshared backboneの計算・パラメータ経路に直接置く。 - 代表的なcontinuous VLAではdedicated action-expert capacityが16.5%–35.1%なのに対し、本手法はactive action projectionsが0.21%でseparate action-generator layersなし。 - Action Interface Auditにより、cross-time trajectory couplingがaction interfaceではなくshared backboneの中間・後半層で創発することを確認。

- shared diffusion VLM backbone上に連続trajectory表現、blockwise生成、physical-coordinate supervisionを直接配置。 - 各control timestepをbackbone hidden spaceの1つの連続latent action tokenとして符号化。 - shared Transformerがmultimodal pretrainingと同じcorrupt-and-reconstruct operatorで時間順action blockを再構成。 - separate action-generator layersを持たず、active action projectionsは4.46B中0.21%。 - 提案のAction Interface Auditでtrajectory couplingの層位置を監査。

- 標準benchmarkで評価: regular LIBEROで平均98.15% success、10,030タスクのLIBERO-Plusで85.9%、CALVIN ABC-Dで平均completed chain length 4.142。 - 提案のAction Interface Auditを用い、cross-time trajectory couplingがshared backboneの中間・後半層で生じることを確認。 - 詳細なablationや実機検証は要旨からは不明。

- manipulationとcognitionを同一モデルにembodyする設計の有効性を主張。 - action-expert容量を大幅に削減(0.21% vs 16.5%–35.1%)しつつ高性能を示す。 - cross-time trajectory couplingがbackbone中間・後半層で創発するという知見を提示。 - 限界・失敗事例・実機での議論は要旨からは不明。

- 比較対象として言及される代表的なcontinuous VLA(separate action expertを持つ手法)やdiscrete action token化VLA。 - 基盤となるdiffusion VLMおよびmultimodal pretrainingのcorrupt-and-reconstruct operator関連研究。 - benchmarkとしてLIBERO、LIBERO-Plus、CALVIN。 - 具体的な論文名は要旨からは不明。