視覚言語行動か世界行動か、いっそ行動モデルで十分

- 視覚言語行動モデル(VLA)とworld-action model(WAM)の論争を整理し、共通枠組みを提案する研究。 - 論争は「backbone initialization」「future observationsへの目的関数」「future loss用の機構を推論時に保持するか」の3つの選択が混ざっていると指摘。 - これらを分離すると両者を統合する枠組みJust Action Model (JAM)になる。 - JAMはpretrained visual backboneとaction expertを持ち、action lossとforesight lossで学習する。 - 視覚生成は学習・推論のどちらにも含まず、backboneは自由に選べる。

- VLAとWAMの性能差を単一の要因に帰属させず、3つの選択肢を分離して比較できる点が新しい。 - 固定したpolicy architecture内で目的関数を比較し、さらにforesight recipeをbackbone family横断で評価。 - 結果としてJAMは対応するFastWAMやImageWAMをLIBEROとLIBERO-Plusで上回る。 - RoboTwinでも同等かわずかに高い成功率。 - FastWAM比で成功率が97.0%/55.3%/91.2%から98.2%/64.5%/91.4%へ改善。 - cached foresight targetsにより推定オンライン学習FLOPsをFastWAM比で73%削減。

- JAMはpretrained visual backboneにaction expertを組み合わせる。 - 学習はaction lossとforesight lossの2つ。 - foresight lossは現在観測の特徴から、記録された未来のfrozen encodingsを予測するよう学習。 - 予測headは学習後に破棄され、推論時には視覚生成も追加機構も不要。 - backboneはgenerator-initializedでもvision-languageでもよく、自由に選択可能。 - cached foresight targetsによりオンライン学習の計算コストを削減。

- まず固定したpolicy architecture内で目的関数を比較。 - 次にforesight recipeを複数のbackbone familyで評価。 - LIBEROとLIBERO-PlusでFastWAMおよびImageWAMの対応版と比較し、JAMが上回ることを確認。 - RoboTwinでは同等かわずかに高い成功率を確認。 - FastWAM比の成功率改善(97.0%/55.3%/91.2%→98.2%/64.5%/91.4%)を報告。 - cached foresight targets使用時のオンライン学習FLOPs削減(73%)を推定。

- 未来のsupervisionが視覚生成や追加の推論機構なしに制御を改善することを示す。 - 強いforesight性能はgenerator-initialized backboneでもvision-language backboneでも達成可能と主張。 - VLAとWAMの差は単一要因では説明できず、3つの選択肢を分離して議論すべきという示唆。 - ただし要旨からは、各要因の寄与の詳細な分解結果や限界・失敗事例についての議論は不明。 - 実ロボットでの検証や他タスクへの一般化については要旨からは不明。

- FastWAM(比較対象のWAM)。 - ImageWAM(比較対象のWAM)。 - VLA(vision-language-action model)系の代表的研究。 - LIBEROおよびLIBERO-Plusのベンチマーク関連研究。 - RoboTwinのベンチマーク関連研究。 - foresight lossやfuture predictionを制御に用いる関連手法。