REKI: VLAに知識を登録する

- REKIは2.4Bのvision-language-action model (VLA)である。 - 公開データのみで事前学習され、性能とモデルサイズの新たなPareto frontierを設定する。 - LIBERO-Plus, RoboTwin Clean2Rand, RoboCasa365で、約2倍のサイズのモデルにのみ性能で劣る。 - VLMの後にflow-matching action expertを配置し、公開ロボットデータ、egocentric humanデータ、vision-languageデータの混合で事前学習される。 - メモリ機構を備え、action expert内の少数のregister tokensが各フレームのVLM出力を要約し、expertのcacheに保持される。 - コード、事前学習済み・微調整済みモデル重みを公開。

- 公開データのみで事前学習しながら、性能とモデルサイズのPareto frontierを更新。 - 同規模またはより大きなモデルと比較して、LIBERO-Plus, RoboTwin Clean2Rand, RoboCasa365で競争力のある性能を示す。 - メモリ機構により、シミュレーションと実ロボットでの成功率が向上し、ポーズ間の振動が約4倍減少。 - シンプルなモデル設計と学習パラダイムを採用し、学習と推論の効率を最適化。

- VLMの後にflow-matching action expertを接続したアーキテクチャ。 - 公開ロボットデータ、egocentric humanデータ、vision-languageデータのキュレーションされた混合で事前学習。 - メモリ機構：action expert内の少数のregister tokensが各フレームのVLM出力を要約し、expertのcacheに永続化。 - これにより、ポリシーが最近の過去にアクセス可能となり、低コストでメモリを実現。 - 学習と推論の効率を最適化したシンプルな設計。

- LIBERO-Plus, RoboTwin Clean2Rand, RoboCasa365の3つのベンチマークで評価。 - 性能とモデルサイズのPareto frontierを設定し、約2倍のサイズのモデルにのみ劣ることを示す。 - メモリ機構がシミュレーションと実ロボットでの成功率を向上させ、ポーズ間の振動を約4倍減少させることを検証。 - コード、事前学習済み・微調整済みモデル重みを公開し、再現性を確保。

- 要旨からは不明。

- 要旨で参照/比較されている研究：LIBERO-Plus, RoboTwin Clean2Rand, RoboCasa365。 - 関連手法：vision-language-action model (VLA), vision-language model (VLM), flow-matching action expert。 - 同分野の定番：RT-2, OpenVLA, Octo, Diffusion Policyなどが考えられるが、要旨では明示されていない。