HumanoidVLN: A Physics-Grounded Simulator and Benchmark for Vision-Language Navigation Across Diverse Humanoid Embodiments

HumanoidVLNは、多様なヒューマノイドロボットの身体性を考慮したVision-Language Navigation (VLN)のための物理シミュレータとベンチマークを提供する。NVIDIA Isaac Sim上に構築され、Unitree G1、Unitree H1、Internal-A、Internal-Bの4つのロボット（下肢10-12 DoF、身長1.17m〜1.80m）をサポートする。階層型制御スタック（強化学習による歩行ポリシーとPDまたはMPCパストラッカー）を備え、新しいロボットやVLNモデルを容易に統合できる。環境はアーティスト制作シーンと3D Gaussian Splatting再構成から選定され、ナビゲーション可能面積が100平方メートル以上にフィルタリングされる。命令はデュアル生成器・レビューア・パラフレーザーのマルチエージェントパイプラインと人間の検証により生成され、933の衝突回避参照エピソード（各エピソードに詳細な命令1つと、形式的・自然的・カジュアルな3つのスタイル変種）が含まれる。

既存のVLNベンチマークは車輪型エージェントを前提としており、二足歩行による物理的制約、ヒューマノイドの形態的多様性、歩行によるカメラ動揺で歪む自己中心視点を考慮していない。HumanoidVLNは物理シミュレーションに基づき、これらの課題を直接扱う点が革新的である。また、複数のヒューマノイド身体性とVLNモデルを統一的に評価できるプラットフォームを提供し、sim-to-realギャップを検証するパイロット実験も含む。

手法の核は、NVIDIA Isaac Sim上での物理シミュレーションと、強化学習による歩行ポリシーとPD/MPCパストラッカーを組み合わせた階層型制御スタックである。これにより、異なるヒューマノイド形態を低コストで統合できる。また、命令生成にはマルチエージェントパイプライン（生成器・レビューア・パラフレーザー）と人間の検証を採用し、衝突回避を考慮した高品質な参照エピソードを構築する。環境はナビゲーション可能面積でフィルタリングされ、多様なシーンを提供する。

4つのVLNモデル（NaVILA、DualVLN、StreamVLN、JanusVLN）と4つのヒューマノイド身体性で評価し、JanusVLNが最高の平均成功率43.55%、nDTW 48.38を達成した。さらに、DualVLNとUnitree G1を用いた20エピソードのsim-to-realパイロット実験では、ナビゲーション誤差の相関が強く（r=0.935）、平均絶対差0.68m、平均軌跡類似度nDTW 0.782（±0.188）を示し、シミュレーションと実機の整合性を検証した。

要旨からは、VLNモデル、コントローラ、ヒューマノイド身体性の相互作用が物理的実行下で重要であることが示唆されるが、具体的な議論や限界は明記されていない。sim-to-realパイロットは20エピソードと小規模であり、統計的検出力や一般化には限界がある可能性が考えられるが、要旨からは不明。また、Internal-A/Bの詳細や、異なる身体性間での性能差の要因分析などは要旨に含まれていない。

要旨で参照されているVLNモデル：NaVILA、DualVLN、StreamVLN、JanusVLN。また、関連する基盤技術として、NVIDIA Isaac Sim、強化学習による歩行制御、3D Gaussian Splatting、PD/MPC制御などが挙げられる。次に読むべき論文としては、これらのVLNモデルの原著論文や、ヒューマノイドロボットのナビゲーションに関する既存研究が適切である。