日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.24864

NereidVLA:水中世界を理解し航行する視覚言語行動モデル

NereidVLA: Learning to Understand and Navigate the Underwater World

シェア:XThreadsFacebookLINEはてブBluesky

海洋の視覚言語データで空間知識を事前学習し、水中ロボットの軌道データで微調整することで、言語指示に基づく水中3Dナビゲーションを実現したVLAモデル。

詳しい要約

1. どんなもの?

- 水中ナビゲーションのための vision-language-action model(VLA) - 海洋 vision-language データセットには対になる robot trajectory がほとんど無いという問題に対処 - 言語指示と RGB 履歴から離散的な motion token を予測し、局所 3D trajectory にデコードして closed-loop tracking を行う - 海洋空間知識を事前学習した Sea2Know を基盤に、simulated underwater vehicle dynamics 下の expert trajectory で適応 - 実環境での fine-tuning 無しに laboratory-pool の robot trial でも動作

2. 先行研究と比べてどこがすごい?

- 既存の海洋 vision-language データセットは対になる robot trajectory をほとんど含まない点を指摘 - 対になる robot-motion supervision 無しで海洋空間知識を学習する Sea2Know を約 200 万例で構築 - 同一の navigation training・execution 設定で、海洋空間 pretraining により simulation success が 72.4% から 84.4% へ向上 - 実テスト環境で fine-tuning せずに laboratory-pool で 78.75% 成功、InternVLA-N1 の 47.50% を上回る

3. 技術・手法の肝は?

- 2 段階の学習 - 第 1 段階:Sea2Know を約 200 万の海洋例で学習し、target grounding・spatial relations・scene structure を獲得(対になる robot-motion supervision は不使用) - 第 2 段階:simulated underwater vehicle dynamics 下で実行した expert trajectory を用いて適応 - 入力:RGB histories と language instruction - 出力:discrete motion tokens を予測し、局所 3D trajectory にデコード、closed-loop tracking に使用

4. どうやって有効だと検証した?

- 独立した six-dimensional underwater navigation understanding benchmark を構築・使用 - offline prediction と closed-loop navigation の両方で評価 - 同一の navigation training・execution 設定での比較により、海洋空間 pretraining の効果(72.4%→84.4%)を確認 - 実テスト環境で fine-tuning せずに laboratory-pool の robot trial を実施し、InternVLA-N1 と比較(78.75% vs 47.50%)

5. 議論はある?

- 海洋空間 supervision が下流の motion learning と実水中ナビゲーションを支え得ることを示唆 - 実環境 fine-tuning 無しでの laboratory-pool 成功は、sim-to-real 転移の可能性を示す - ただし評価は simulation と laboratory-pool に限定され、実海洋環境での検証や限界については要旨からは不明 - 失敗要因や安全性、長期運用に関する議論は要旨からは不明

6. 次に読むべき論文は?

- InternVLA-N1(本論文で比較対象として言及) - Sea2Know(本論文の海洋空間事前学習モデル) - vision-language-action model(VLA)全般の代表的手法 - underwater navigation 向け vision-language データセットおよび benchmark 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenjie Zhao, Zhiliang Zhu, Quan Chen, Yuquan Xue, Xingxue Shi, Puyue Wang, Zhiqiang Zhao, Kangye Zheng, Boyang Xu, Mingwei Lin, Dejun Li

分類: cs.CV, cs.RO

原文アブストラクト

Underwater navigation requires translating visual spatial cues into motion, yet marine vision-language datasets rarely include paired robot trajectories. We present NereidVLA, a vision-language-action model that transfers marine spatial knowledge to language-conditioned 3D navigation. We first train Sea2Know on approximately two million marine examples to learn target grounding, spatial relations, and scene structure without paired robot-motion supervision. We then adapt it using expert trajectories executed under simulated underwater vehicle dynamics. Given RGB histories and a language instruction, NereidVLA predicts discrete motion tokens that decode into local 3D trajectories for closed-loop tracking. Evaluation combines an independent six-dimensional underwater navigation understanding benchmark with offline prediction and closed-loop navigation. Under matched navigation training and execution settings, marine spatial pretraining increases simulation success from 72.4% to 84.4%. Without fine-tuning on the real test environment, NereidVLA achieves 78.75% success in laboratory-pool robot trials, compared with 47.50% for InternVLA-N1. These results show that marine spatial supervision can support downstream motion learning and physical underwater navigation.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI