再構成は行動ではない：行動中心の潜在ダイナミクスモデリング

- ラベルなし動画から潜在行動を学習する Latent Action Models (LAMs) の研究。 - 視覚遷移から潜在行動を推論し未来状態を再構成する従来型に対し、再構成誤差と下流性能の不一致 (reconstruction-action mismatch) を指摘。 - この不一致の原因を IDM と FDM の制約不足に帰属。 - 両者を強化する軽量な action-centric フレームワーク ACT-LAM を提案。 - ロボティクスデータセットと VP^2 ベンチマークで評価。

- 従来の再構成ベース LAM は再構成誤差の低さを性能指標としてきたが、本研究はそれが潜在ダイナミクスや下流性能に直結しないことを示す。 - IDM が行動関連遷移と nuisance appearance を区別するよう明示的に促されていない点、FDM が現状態からの予測ショートカットを利用し潜在行動を十分活用しない点を課題として特定。 - ACT-LAM はこれら両制約を強化し、より少ない学習パラメータと計算コストで、潜在行動一貫性・forward dynamics・下流 visual planning 性能を向上。 - 集約 VP^2 成功率で従来 SOTA を 7.6% 上回る。

- Action Query IDM (AQ-IDM): 学習可能な action queries と gated aggregation により、強い情報ボトルネックなしで行動関連遷移手がかりを選択的に抽出。 - Action Token FDM (AT-FDM): 潜在行動を action tokens に射影し、進化する状態表現と段階的に相互作用させることで、連続的な state-aware action conditioning を実現。 - 特徴処理を効率化し、モデル容量を潜在ダイナミクスモデリングに集中。 - 軽量な action-centric フレームワークとして設計。

- 複数のロボティクスデータセットと VP^2 ベンチマークで実験。 - 潜在行動一貫性、forward dynamics、下流 visual planning 性能を評価。 - より少ない学習パラメータと低い計算オーバーヘッドで性能向上を確認。 - 集約 VP^2 成功率で従来 SOTA を 7.6% 上回る。

- reconstruction-action mismatch の存在を指摘し、再構成誤差が必ずしも良い潜在ダイナミクスや下流性能をもたらさないと議論。 - 原因として IDM の行動関連遷移と nuisance appearance の区別不足、FDM の予測ショートカット利用を挙げる。 - これらを解決する ACT-LAM の有効性を示すが、限界や今後の課題については要旨からは不明。

- 要旨で参照/比較されている具体的な先行研究名は不明。 - 関連手法として Latent Action Models (LAMs)、inverse dynamics model (IDM)、forward dynamics model (FDM)、VP^2 benchmark が挙げられる。 - 同分野の定番として visual planning、latent dynamics modeling、action representation learning に関する研究が次に読むべき候補。