日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.26565

PhyDEX:動的物体投擲による物理推論ベンチマーク

PhyDEX: A Benchmark for Physical Reasoning in Vision-Language-Action Models via Dynamic Extrinsic Dexterity

シェア:XThreadsFacebookLINEはてブBluesky

ロボットが物体の質量・重心・摩擦を推論して投擲する35K軌道のベンチマークを構築し、既存VLAモデルが成功率3%未満で物理理解に乏しいことを示した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの物理理解を評価する新 benchmark「PhyDEX」を提案 - dynamic extrinsic dexterity として投擲 (throwing) タスクを採用 - ロボットは物体の mass・center of mass・friction を推論し、kinematic workspace 外の目的地へ投げる必要 - 35K trajectories (143 hours)、9 tasks、100 scenes を収録 - uniform・irregular・dynamic-mass の物体、static・multiple・moving の目的地を網羅

2. 先行研究と比べてどこがすごい?

- 既存 benchmark は主に gripper–object contact を評価し、gravity・friction・inertia・mass distribution を介した環境との相互作用をほぼ無視 - そのため現行 policy が物理を理解しているか、訓練データの補間なのか不明だった - PhyDEX は投擲により mass・center of mass・friction の推論を要求する点で物理推論の評価軸を拡張 - 大規模 (35K trajectories, 143 hours) かつ多様な物体・目的地設定を自動生成 pipeline で構築

3. 技術・手法の肝は?

- scalable かつ fully automatic なデータ生成 pipeline を構築 - grasp generation、motion planning、closed-loop throw optimization を組み合わせ - randomized physical properties の下で trajectory を生成 - 物体の mass・center of mass・friction を変化させ、物理的推論を要する設定を実現

4. どうやって有効だと検証した?

- 代表的な VLA 3 種 (GR00T N1.7, DynamicVLA, ForceVLA) を評価 - いずれも success rate は 3% 未満 - 失敗の二要因を分析: pretrained model の robustness 不足 (投擲前の失敗が多い) と physical blindness - ground-truth の物理特性を与えると success が約 2 倍になることを確認 - humanoid robot および real world でも同様の失敗パターンを確認

5. 議論はある?

- 現行 VLA は物理を理解せず訓練データの補間にとどまる可能性を示唆 - 主な bottleneck は pretrained model の robustness と physical blindness の二点 - 物理特性の付与が success を約 2 倍にするという知見は物理 grounding の重要性を示す - 限界や今後の課題の詳細は要旨からは不明

6. 次に読むべき論文は?

- GR00T N1.7 - DynamicVLA - ForceVLA - 関連する VLA 研究や dynamic extrinsic dexterity・throwing の先行研究は要旨で明示されていないため、同分野の定番として VLA 系 benchmark や robot manipulation benchmark を参照するのが妥当

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hao Vo, Taisei Hanyu, Yuki Ikebe, Pham Tri Quang, Sreevenkata Anjani Tishita Godavarthi, Nghi D. Q. Bui, Daniel Sonntag, Chase Rainwater, Duy Minh Ho Nguyen, Anh Nguyen, Ngan Le

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models have advanced rapidly in language-conditioned robotic manipulation, yet existing benchmarks mainly evaluate gripper--object contact and largely ignore how objects interact with the environment through gravity, friction, inertia, and mass distribution. As a result, it remains unclear whether current policies truly understand physics or merely interpolate from their training data. We address this gap through the lens of dynamic extrinsic dexterity and introduce PhyDEX, a throwing benchmark in which a robot must infer an object's mass, center of mass, and friction to send it to a destination beyond its kinematic workspace. PhyDEX contains 35K trajectories (143 hours) across nine tasks and 100 scenes, covering uniform, irregular, and dynamic-mass objects with static, multiple, and moving destinations. All data are generated by a scalable, fully automatic pipeline that combines grasp generation, motion planning, and closed-loop throw optimization under randomized physical properties. We evaluate three representative VLAs, GR00T N1.7, DynamicVLA, and ForceVLA, and find that all achieve success rates below 3\%. Our analysis reveals two key bottlenecks: limited robustness of pretrained models, which causes most failures before the throw, and physical blindness, as providing ground-truth physical properties roughly doubles success. Experiments on a humanoid robot and in the real world show the same failure patterns. We hope PhyDEX will drive the development of physically grounded robot policies.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI