何が起きたか
ヒューマノイドロボット向けの視覚言語ナビゲーション（VLN）のための物理基盤シミュレータおよびベンチマーク「HumanoidVLN」が発表された。既存のベンチマークが扱わない二足歩行の物理的制約や多様な形態、歩行によるカメラ動揺を考慮する。NVIDIA Isaac Sim上に構築され、Unitree G1・H1を含む4種類のロボットをサポートする。
詳細
HumanoidVLNは、NVIDIA Isaac Sim上に構築された物理基盤のシミュレータおよびベンチマークである。4種類のロボット（Unitree G1、Unitree H1、Internal-A、Internal-B）をサポートし、下半身の自由度は10〜12、身長は1.17mから1.80mにわたる。制御は強化学習による歩行ポリシーと、交換可能なPDまたはMPCパストラッカーを組み合わせた階層制御スタックを用いる。 環境はアーティスト制作のシーンと3Dガウシアンスプラッティング再構成から描画され、ナビゲーション可能面積が100平方メートルを超えるものにフィルタリングされる。指示文は、生成器・レビューア・パラフレーザーからなるマルチエージェントパイプラインと人間参加型検証により生成され、933の衝突考慮参照エピソードが用意され、各エピソードには1つの詳細指示と3つの文体バリエーション（フォーマル、ナチュラル、カジュアル）が付与される。 4つのモデルと4つのロボット形態での評価では、JanusVLNが最高の平均成功率43.55%、nDTW 48.38を達成した。また、DualVLNとUnitree G1を用いた20エピソードのシミュレーションから実機へのパイロット実験では、ナビゲーション誤差の相関が強く（r=0.935）、平均絶対差は0.68m、平均軌跡類似度は0.782（±0.188）nDTWであった。コード、ベンチマーク、データは採択後に公開される予定。
Key Facts
| HumanoidVLNはNVIDIA Isaac Sim上に構築された物理基盤シミュレータおよびベンチマークである。 | [0] |
| Unitree G1、Unitree H1、Internal-A、Internal-Bの4種類のロボットをサポートする。 | [0] |
| ロボットの下半身自由度は10〜12、身長は1.17mから1.80m。 | [0] |
| 制御は強化学習による歩行ポリシーとPDまたはMPCパストラッカーを組み合わせた階層制御スタックを用いる。 | [0] |
| 環境はアーティスト制作のシーンと3Dガウシアンスプラッティング再構成から描画され、ナビゲーション可能面積が100平方メートルを超えるものにフィルタリングされる。 | [0] |
| 指示文は生成器・レビューア・パラフレーザーからなるマルチエージェントパイプラインと人間参加型検証により生成される。 | [0] |
| 933の衝突考慮参照エピソードが用意され、各エピソードには1つの詳細指示と3つの文体バリエーション（フォーマル、ナチュラル、カジュアル）が付与される。 | [0] |
| 4つのモデルと4つのロボット形態での評価で、JanusVLNが最高の平均成功率43.55%、nDTW 48.38を達成した。 | [0] |
| DualVLNとUnitree G1を用いた20エピソードのシミュレーションから実機へのパイロット実験で、ナビゲーション誤差の相関はr=0.935、平均絶対差は0.68m、平均軌跡類似度は0.782（±0.188）nDTWだった。 | [0] |
| コード、ベンチマーク、データは採択後に公開される予定。 | [0] |
なぜ重要か
ヒューマノイドロボットのVLNは、二足歩行による物理的制約や形態の多様性、歩行によるカメラ動揺など、既存のベンチマークが扱わない課題がある。HumanoidVLNはこれらの課題を物理シミュレーションで再現し、複数のロボット形態とVLNモデルを評価できる基盤を提供する。シミュレーションと実機の相関が高いことも示され、実機展開に向けた検証手段として有用である。