日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ベンチマーク/世界モデルarXiv:2611.24731

HandWorldBench:手中心の世界モデルを評価する統合ベンチマーク

HandWorldBench: A Unified Benchmark for Hand-Centric World Models

シェア:XThreadsFacebookLINEはてブBluesky

人間の手・シミュレーション・実機の巧緻手を含む手と物体の相互作用を6つの観点で評価するベンチマークを構築し、11モデルを比較した。

詳しい要約

1. どんなもの?

- 手中心の world model を体系的に評価する統一 benchmark「HandWorldBench」を提案 - 対象は human hands / simulated dexterous hands / real dexterous hands の3形態 - 6次元で評価: visual quality, hand fidelity, appearance consistency, instruction following, physical consistency, temporal coherence - 600時間超の映像から20,500本の高品質 egocentric clip を構築し、7 task family をカバーする500本を人手で選定 - 11モデルを統一 protocol で比較

2. 先行研究と比べてどこがすごい?

- 手と物体の相互作用に特化した world model 評価は未整備で、そのギャップを埋める - 従来の汎用 video 生成評価と異なり、hand fidelity や physical consistency など手中心の能力を多次元で測る - human / simulated / real dexterous hand を横断する cross-embodiment 評価を含む点が新しい - 大規模データから品質スクリーニングした clip を人手選定し、統一 protocol で比較可能にした

3. 技術・手法の肝は?

- 600時間超の映像から hand-object interaction clip を抽出し品質スクリーニングする data curation pipeline を構築 - 20,500本の高品質 egocentric clip を生成し、7 task family を網羅する500本を人手選定 - visual quality, hand fidelity, appearance consistency, instruction following, physical consistency, temporal coherence の6次元評価指標を定義 - 11モデルを同一 protocol で benchmark する評価枠組みを設計

4. どうやって有効だと検証した?

- 11モデルを統一 protocol で benchmark し比較評価を実施 - 結果として、強い hand-pose control が coherent な object-state evolution/persistence や robust な cross-embodiment 性能に一貫して結びつかないことを示した - 一部の specialized hand-control model が dexterous-hand task で general-purpose text/image-to-video generator を下回ることを報告

5. 議論はある?

- hand-pose control の強さと object-state の整合的変化・持続性が乖離する点を指摘 - specialized hand-control model が汎用 video generator に劣る事例があり、専門特化の有効性に疑問を提示 - cross-embodiment 性能の頑健性が現状不十分であることを示唆 - 個々のモデルの詳細な失敗要因や評価指標間の相関などは要旨からは不明

6. 次に読むべき論文は?

- 要旨で比較対象として言及される specialized hand-control model および general-purpose text/image-to-video generator の各論文 - hand-object interaction の world model に関する関連研究 - egocentric 映像データセットおよび dexterous hand 制御の関連研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhaolu Wang, Jiacheng Xu, Lihong Wang, Shuqing Wang, Jianjie Fang, Ziyou Wang, Xvyuan Liu, Rongze Tang, Yiding Ma, Xin Zhang, Jiawei Chen, Wei Wu, Chen Gao, Yong Li, Zhibo Chen

分類: cs.CV

原文アブストラクト

Recent advances in world models are opening new possibilities for fine-grained embodied tasks, with hand-object interaction offering a particularly demanding setting. Modeling these interactions involves capturing how hand actions change objects and how the resulting states persist over time. Yet systematic evaluation tailored to these hand-centric capabilities remains underdeveloped. To address this gap, we introduce HandWorldBench, a unified benchmark that systematically evaluates hand-centric world models across human hands, simulated dexterous hands, and real dexterous hands along six dimensions: visual quality, hand fidelity, appearance consistency, instruction following, physical consistency, and temporal coherence. To construct the benchmark, we develop a data curation pipeline that extracts hand-object interaction clips and screens them for quality, yielding 20,500 high-quality egocentric clips from over 600 hours of footage. We then manually select 500 clips covering seven task families for evaluation. Benchmarking eleven models under a unified protocol reveals that stronger hand-pose control does not consistently translate into coherent object-state evolution and persistence or robust cross-embodiment performance, with several specialized hand-control models underperforming general-purpose text/image-to-video generators on dexterous-hand tasks.

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI