RynnVLA-Latent、3D潜在動作を使うロボット操作モデルを発表

何が起きたか

arXivに2026年10月25日掲載された論文は、異なるロボットの操作空間に依存せず、動画から学習した3D基盤の潜在動作を使うモデル「RynnVLA-Latent」を報告した。人間、ロボット、シミュレーションの動画30.1K時間から745.52M個の潜在動作記述子を作り、4Bのポリシーを学習した。論文によると、LIBEROで成功率98.8%、LIBERO-Plusで84.7%を達成した。

詳細

中核のRynnLAMは、視覚遷移からロボット固有の制御信号を使わずに連続的な3D基盤の潜在動作を学習する。残差未来特徴予測、カメラ補償付き3Dフローによる教師信号、カメラ動作の分離を組み合わせる。RynnVLA-Latentは視覚観測と言語から潜在動作のまとまりをフローマッチングで予測し、その後、事前学習したバックボーンと動作エキスパートを各ロボット固有の動作に適応させる。 論文が示した評価値は、LIBERO-Plusがベンチマーク固有の適応なしで84.7%、VLABenchの5トラック平均が51.9%、両手操作ベンチマークRoboTwin 2.0の平均が88.6%。実世界の操作タスク6件では、器用な手と移動式グリッパーの各プラットフォームで、比較対象手法の中で最も高い成功率を観測したとしている。

Key Facts

本紙の見方

規模の中心はロボット固有の操作ラベルを集めることではなく、30.1K時間の異種動画を745.52M個の潜在動作記述子へ変換する教師信号の設計にある。従来のVLA学習で問題になる、行動ラベル付きデモの不足とロボットごとに異なる制御空間を、視覚遷移から共通表現を作ることで回避しようとする構成だ。ただし、動画から潜在動作を学んだ後、最終的には各ロボット固有の動作へ適応するため、機体差を完全に消す方式ではない。 技術上の要点は、見た目の変化だけでなく制御に関係する動きを表現しようとする点にある。論文は残差未来特徴予測、カメラ補償付き3Dフロー、カメラ動作の分離を組み合わせる。これは、カメラの移動による画面上の変化と、物体や手先の動作を区別する学習設計と読める。視覚と言語から潜在動作のまとまりを予測した後に機体固有の動作へ適応するため、事前学習段階のデータ再利用と実機ごとの制御適合を分ける構造でもある。 業界構造への含意は、ロボット操作データの価値を、特定機体の制御ラベル付きデモだけに限定しない可能性だ。人間、ロボット、シミュレーションの動画を共通の事前学習資源として扱えれば、異なる出所の動画をロボット学習に接続できる。ただし、論文の数値は各ベンチマークと実世界タスクでの評価結果であり、動画の種類ごとの寄与や、学習済み表現を別の機体へ移す際の追加データ量までは抄録から確認できない。LIBEROの98.8%とLIBERO-Plusの84.7%は評価条件も異なるため、数値だけで性能差や実運用の優位性を結論づけるべきではない。 次に見るべきなのは、30.1K時間の内訳、745.52M記述子の生成・品質管理方法、各ロボットへの適応に必要なデータ量である。実世界6タスクについても、タスク別の成功率、試行条件、比較手法の選定、失敗時の挙動が分からなければ、ベンチマーク結果から導入可能性を判断できない。論文は潜在動作による教師信号の拡張可能性を示す一方、異種動画を安全な実機操作へ結び付ける条件の検証を残している。

なぜ重要か

論文が報告した方式は、ロボット固有の制御ラベルを持たない人間・ロボット・シミュレーション動画を、操作ポリシーの事前学習に使う設計である。デモの不足や機体間の制御空間の違いに対し、動画から共通の潜在動作を学び、最後に各機体の動作へ適応するという別の手順を提示している。