RynnUnify、視覚計画とロボット制御を統合した16Bモデルを発表

何が起きたか

arXivに2026年10月23日掲載された論文で、RynnUnifyと呼ぶ16Bの統合具現化モデルを提案した。動画と言語を交互に用いる推論により、空間推論や物理予測、長期の視覚計画を扱う。論文の実験では、Rynn-VPの総合スコアがCosmos 3 Nanoを9.75ポイント上回り、ロボット制御拡張は選定された複合RoboCasa365タスク20件で51.5%、実機タスク3件で平均46.7%の成功率を示した。

詳細

論文は、未観測状態や相互作用の結果を推論するために動画予測を選択的に使う強化学習ベースのエージェント拡張を説明している。この拡張は、Rynn-GEUの平均スコアで直接推論を6.0ポイント上回った。また、長期視覚計画と予測的推論を評価するベンチマークとしてRynn-VPとRynn-GEUを導入した。 ロボット制御向けには、RynnUnify全体を基にしたworld-action拡張を開発した。論文は、評価対象となった統合マルチモーダルモデルの中で、RynnUnifyが具現化理解の平均スコアで最高だったとしている。

Key Facts

本紙の見方

今回の論文の特徴は、物理世界の理解、動画による先読み、ロボット制御を別々の能力として示すだけでなく、RynnUnifyを基盤にした複数の拡張として評価した点にある。16Bのモデルに動画と言語を交互に用いる推論を組み合わせ、さらに強化学習によるエージェント拡張とworld-action拡張を設けた。したがって、主眼は単一のロボット制御スコアではなく、理解から計画、行動への接続を共通モデルで試したことにあると読める。 数値は能力ごとに分けて読む必要がある。具現化理解では評価対象の統合マルチモーダルモデル中で最高の平均スコア、視覚計画ではCosmos 3 Nano比で9.75ポイント増、予測的推論では直接推論比で6.0ポイント増と、比較対象と評価軸が異なる。これらを一つの総合性能差として扱うことはできない。とりわけロボット制御の51.5%は「選定された」複合RoboCasa365タスク20件での値であり、実機の46.7%も3タスクの平均だ。論文要旨の数値は、広範な環境での稼働率や汎用性を示すものではない。 構造面では、予測を常に使うのではなく、未観測状態や相互作用の結果を考える場面で選択的に使うエージェント拡張が焦点となる。これは、視覚予測を行動判断にどう結びつけるかを評価対象に含めた設計である。一方、理解・計画のベンチマーク上の改善が、実機タスクの成功率にどの程度結びついたかは、要旨の記載だけでは比較できない。world-action拡張の結果も限定されたタスク数に基づくため、シミュレーションと実機の差や失敗条件を含む追加情報が必要だ。 次に確認すべきなのは、実機タスクの内容とロボット構成、各タスクの成功率、評価条件、学習に使ったデータと計算条件である。要旨にはこれらの詳細や、連続運用時の性能は示されていない。統合モデルの価値を判断するには、ベンチマーク上の改善に加え、どの工程で予測が選択され、行動結果がどのように評価されたかを確認する必要がある。

なぜ重要か

論文は、RynnUnifyの動画予測を用いるエージェント拡張が、Rynn-GEUの平均スコアで直接推論を6.0ポイント上回ったと報告している。視覚予測を未観測状態や相互作用の推論に使う設計と、実機タスク3件での平均成功率46.7%を併せて示した点は、計画能力をロボット制御へ接続する研究の評価に関係する。