SWAM: クロスモーダル整合で世界行動モデルをスケールする

- 言語を条件に video と actions を同時予測する World Action Models (WAM) の研究 - 言語-video の alignment が action learning で損なわれる問題に着目 - 約47,000時間の general videos, egocentric videos, UMI demonstrations, robot demonstrations を収集 - データと supervision 設計の系統的検討および scaling の recipe を提示 - データ・training code・model weights を公開

- 既存研究は architecture と training mechanism が中心で、video pretraining で得た language-video alignment を所与として扱っていた - 本研究は action learning がその alignment を損ないうる点を明示的に問題化 - language-video supervision、language-video-action supervision、両者の joint use の効果を系統的に比較 - language annotation quality が pretrained language-video 能力に与える影響を検討 - UMI と robot demonstrations の action supervision が language-video-action modeling へどう拡張するかを分析

- 約47,000時間の異種データプールを整備し、supervision 形式を変えて比較する実験設計 - language-video supervision と language-video-action supervision の単独・併用を検討 - language annotation quality と action supervision の効果を切り分けて分析 - joint training recipe と model architecture に関する詳細な検討を実施 - 固定 training budget 下で egocentric videos と UMI demonstrations の混合が control generalization を改善 - 選択した設定での pretraining の scaling が更なる性能向上をもたらす

- RoboTwin Clean demonstrations のみで post-training し、Easy (Clean-to-Clean) と Hard (Clean-to-Random) 条件で評価 - 成功率は Easy 88.10%、Hard 61.56% - 実世界3タスクで 40.00% SR を達成し、最強 baseline の 23.33% を上回る - 未見条件下での generalization がより良いことを示唆 - 詳細な評価プロトコルは要旨からは不明

- action learning が language-video alignment を損なう可能性と、その supervision 設計の重要性を議論 - language annotation quality が pretrained 能力に与える影響を検討 - egocentric videos と UMI demonstrations の混合が control generalization に有効という知見 - model architecture が経験の活用効率に影響するとの示唆 - 具体的な限界や失敗事例の議論は要旨からは不明

- 要旨で参照/比較されている研究は明示されていない - 関連手法として UMI (Universal Manipulation Interface)、RoboTwin、World Action Models (WAM)、video pretraining を用いた language-video alignment 研究、egocentric video を用いた学習研究を挙げる - 同分野の定番として vision-language-action (VLA) モデルや video prediction に基づく robot learning の文献を参照すべき