World Action Modelsのための相補的未来トークンプルーニング

- 世界行動モデル（WAMs）は将来の視覚状態とロボット行動を同時に予測するが、密な将来フレームトークンの処理が推論遅延を引き起こす。 - 本研究では、事前学習済みWAMsにおいて将来フレームトークンをプルーニングする訓練不要のフレームワークCF-Pruneを提案。 - 将来の視覚予測は行動生成を支援するため、高忠実度ビデオ合成に必要な全ての視覚詳細を保持する必要はないという洞察に基づく。

- 従来のトークンプルーニング手法は主にビデオ生成や認識タスク向けであり、WAMsの行動生成に特化したものではない。 - CF-Pruneは訓練不要で、初期のデノイジング順伝播中に命令と行動のアテンションを組み合わせてタスク関連トークンを特定する点が新しい。 - エントロピーに基づくフェーズ識別機構により、精度が重要なフェーズでは密な計算を維持し、プルーニングによる性能劣化を軽減する。

- 初期のデノイジング順伝播において、命令アテンションと行動アテンションを組み合わせ、将来フレームと行動表現が非常にノイズが多い状態でもタスク関連トークンを識別。 - エントロピーに基づくフェーズ識別機構を導入し、精度フェーズでは密な計算を保持。 - 訓練不要のフレームワークであり、事前学習済みWAMsにそのまま適用可能。

- RoboLab、RoboCasa、実世界のマニピュレーションタスクで実験を実施。 - 35%のプルーニング率で平均1.19-1.27倍の推論速度向上を達成し、タスク成功率も改善。 - 50%のプルーニング率では、両シミュレーションベンチマークで平均1.29-1.33倍の速度向上を達成し、全体の成功率はベースラインから1.0パーセントポイント以内。

- プルーニング率が高い場合でも成功率を維持できるが、更なる高プルーニング率での性能や限界については要旨からは不明。 - 実世界タスクでの詳細な評価や、他のWAMsアーキテクチャへの汎用性については要旨からは不明。 - エントロピーに基づくフェーズ識別の閾値設定や感度分析については要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、トークンプルーニング（例：Token Pruning）、ビデオ生成モデル（例：Video Diffusion Models）、世界モデル（例：World Models）、行動生成（例：Action Generation）が挙げられる。 - 同分野の定番として、RoboLab、RoboCasa、実世界マニピュレーションタスクのベースライン手法を参照すべき。