日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.32965

RynnUnify:統合型身体性ブレインへの挑戦

RynnUnify: Towards Unified Embodied Brain

シェア:XThreadsFacebookLINEはてブBluesky

動画と言語の交互推論で身体的理解と長期視覚計画を統合した16Bモデルを提案し、強化学習によるエージェント拡張とロボット制御への拡張も実現した。

詳しい要約

1. どんなもの?

- 16B パラメータの unified embodied model「RynnUnify」 - interleaved video–language reasoning により、embodied understanding と long-horizon visual planning を統合 - 能力は spatial reasoning、physical prediction、grounding に及ぶ - 物理世界の理解と、successive subtasks にわたる視覚的予測(visual anticipation)を接続 - reinforcement learning による agentic extension で、video predictions を選択的に利用 - world-action extension により、理解・予測能力を robot control に変換 - 評価用に Rynn-VP(long-horizon visual planning)と Rynn-GEU(anticipatory reasoning)を導入

2. 先行研究と比べてどこがすごい?

- 評価対象の unified multimodal models の中で highest average embodied understanding score を達成 - Rynn-VP overall score で Cosmos 3 Nano を 9.75 points 上回る - agentic extension は direct reasoning 比で Rynn-GEU average を 6.0 points 改善 - world-action extension は RoboCasa365 の選定 20 composite tasks で 51.5% success - 実機 3 tasks で 46.7% average success - 単一モデルで understanding・visual planning・robot control を共有基盤化する点が特徴(要旨からは不明な詳細比較あり)

3. 技術・手法の肝は?

- 16B unified embodied model として video と language を interleaved に推論 - spatial reasoning、physical prediction、grounding を組み合わせて物理世界を理解 - successive subtasks にわたる visual anticipation で long-horizon planning を実現 - reinforcement learning による agentic extension が video predictions を選択的に活用し、unobserved states や interaction outcomes を推論 - world-action extension が understanding/prediction を robot control に写像 - 評価 benchmark として Rynn-VP と Rynn-GEU を新規構築

4. どうやって有効だと検証した?

- unified multimodal models 間の embodied understanding score 比較 - Rynn-VP で Cosmos 3 Nano との overall score 比較(9.75 points 改善) - Rynn-GEU で direct reasoning との average 比較(6.0 points 改善) - RoboCasa365 の選定 20 composite tasks で 51.5% success - 実機 3 tasks で 46.7% average success - 各 benchmark の詳細設定や被験者数などは要旨からは不明

5. 議論はある?

- 要旨からは不明(limitations や failure cases の記述なし) - 16B 規模や計算コスト、real-time 性への言及は要旨からは不明 - agentic extension の video prediction 選択基準の一般性は要旨からは不明 - world-action extension の実機汎化性・安全性の議論は要旨からは不明 - benchmark の妥当性や他モデルとの公平な比較条件は要旨からは不明

6. 次に読むべき論文は?

- Cosmos 3 Nano(比較対象の unified multimodal model) - RoboCasa365(評価に用いた robot manipulation benchmark) - Rynn-VP / Rynn-GEU(本論文の評価 benchmark) - video–language interleaved reasoning 系の unified multimodal model - reinforcement learning による agentic extension 関連研究 - world-action model / robot control への応用研究(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Minghao Zhu, Bohan Hou, Kun Xiang, Zixuan Wang, Yinzhou Tang, Yifei Yang, Zhikai Wang, Tianyi Zhang, Kehan Li, Haoyu Zhao, Siteng Huang, Leigang Qu, Sicong Leng, Dongchi Huang, Mingxiu Chen, Shijian Lu, Yue Wang, Xiaodan Liang, Zhenyu Zeng, Deli Zhao, Chengju Liu, Jianfei Yang, Xin Li

分類: cs.RO

原文アブストラクト

We introduce RynnUnify, a 16B unified embodied model that combines strong embodied understanding with long-horizon visual planning through interleaved video--language reasoning. With capabilities spanning spatial reasoning, physical prediction, and grounding, RynnUnify connects an understanding of the physical world with visual anticipation of how it evolves across successive subtasks. Building on these capabilities, we further develop an agentic extension through reinforcement learning to selectively use video predictions for reasoning about unobserved states and interaction outcomes. We also develop a world-action extension of the full RynnUnify model, translating its understanding and prediction capabilities into robot control. To evaluate these capabilities, we introduce Rynn-VP and Rynn-GEU for long-horizon visual planning and anticipatory reasoning. Experiments show that RynnUnify achieves the highest average embodied understanding score among the evaluated unified multimodal models and improves the Rynn-VP overall score by 9.75 points over Cosmos 3 Nano. Its agentic extension improves the Rynn-GEU average by 6.0 points over direct reasoning, while the world-action extension achieves 51.5\% success on 20 selected composite RoboCasa365 tasks and 46.7\% average success across three real-robot tasks. Together, these results establish RynnUnify as a shared foundation for embodied understanding, visual planning, and robot control, taking a step toward a unified embodied brain.

関連論文

PR本紙発行元 EmplifAI