何が起きたか
arXivは2026年11月17日、動画を使ったロボット学習手法「ReLAP」を提案する論文を掲載した。学習可能なパラメーターは1.06B、事前学習サンプルは11Mで、論文記載の評価結果は標準LIBEROで97.9%、摂動を加えたzero-shot LIBERO-Plusで70.0%だった。
詳細
ReLAPは、凍結したJEPA表現空間で、隣接する観測から連続値の潜在行動を推定する逆ダイナミクスモデルと、将来のJEPA特徴を反復予測する潜在世界モデルを組み合わせる。予測特徴を次の遷移の文脈として使い、後段の予測誤差を先行する潜在行動にも反映させる設計だ。 視覚言語モデル(VLM)への転移では、凍結した逆モデルからの潜在蒸留と、凍結した潜在世界モデルを通じた将来特徴の反復予測を用いる。その後、ロボットのデモンストレーションとaction flow matchingで方策を適応させる。実行時には潜在行動モデルと世界モデルの枝を取り除き、微調整したVLMが物理動作を直接予測する。LARY潜在行動ベンチマークでは、比較対象の手法中、平均回帰誤差と平均分類精度の双方で2位だった。
Key Facts
| arXivは2026年11月17日、「ReLAP: Latent Action Pretraining through Recurrent Video Prediction in JEPA Space」を掲載した。 | [1] |
| ReLAPは11Mの事前学習サンプルと1.06Bの学習可能パラメーターを用いる。 | [1] |
| 論文記載の評価結果は標準LIBEROで97.9%、摂動を加えたzero-shot LIBERO-Plusで70.0%だった。 | [1] |
| LARY潜在行動ベンチマークでは、比較対象中、平均回帰誤差と平均分類精度の双方で2位だった。 | [1] |
本紙の見方
ReLAPの設計上の焦点は、動画の隣接フレームから行動を推定するだけでなく、その推定を複数ステップ先の予測に結び付けた点にある。論文は、後続の予測誤差を先行する潜在行動へ伝える構成を採る。したがって、局所的な変化の再構成と、時間をまたぐ動きの整合性を一つの事前学習過程で扱おうとする手法と読める。ただし、これは論文が示す設計意図であり、実機で長時間の動作が安定したことまで意味しない。 処理の流れでは、動画から潜在行動と将来特徴を学び、その表現をVLMへ移し、ロボットのデモンストレーションで物理動作に適応させる。さらに実行時には潜在行動モデルと世界モデルを外すため、学習時の予測機構をそのまま推論時に維持する方式ではない。事前学習で時間的な構造を与えつつ、配備時はVLMによる直接予測にするという分離が、ReLAPのもう一つの特徴である。一方、推論時の計算量や遅延がどれほど変わるかは、提示された要旨だけでは分からない。 評価値は、標準LIBEROの97.9%に対し、摂動を加えたzero-shot LIBERO-Plusでは70.0%である。両者は条件が異なるため、数値を単純に同一条件の性能差として扱うべきではない。後者の結果は、少なくとも摂動条件での評価も報告していることを示すが、どの摂動にどの程度対応できたか、実環境の多様な条件へどこまで移るかは、この要旨からは判断できない。LARYで二つの指標が比較対象中2位という結果も、順位だけでは手法間の差の大きさを示さない。 今後確認すべきなのは、11Mサンプルの動画の内容と収集条件、事前学習と実機適応で使ったロボットやタスク、デモンストレーション量、実機での成功率である。加えて、学習可能パラメーター1.06Bに対する学習・推論コスト、実行時に枝を除いた後の性能維持、摂動への頑健性を別の環境で検証した結果が必要になる。要旨は手法とベンチマーク結果を示すが、これらの適用条件や実運用上の負荷までは示していない。
なぜ重要か
論文のReLAPは、動画から得た潜在行動を複数ステップの将来予測で学習し、ロボットのデモンストレーションを使ってVLMの物理動作予測へつなぐ構成を示した。学習時の潜在モデルを実行時に外す設計のため、評価結果に加え、枝を除いた後の性能と推論負荷が実用性を判断するうえでの論点となる。
