日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ベンチマーク/多指マニピュレーションarXiv:2610.26765

HandsOn:汎化可能な器用把持のための大規模シミュレーションベンチマーク

HandsOn: A Large-Scale Simulation Benchmark for Generalizable Dexterous Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

5種のアーム・6種の多指ハンド・約200アセットを組み合わせたシミュレーション基盤と、1.8万デモ付き66タスクのベンチマークを構築し、拡散・VLA・世界モデル・VLM手法の汎化性能と失敗要因を評価した。

詳しい要約

1. どんなもの?

- クロスembodimentのdexterous manipulation向けのcomposable simulation platform兼benchmark「HandsOn」 - 5種類のrobotic arms、6種類のdexterous hands、約200のrigid/articulated/deformable assetsをrandomized scenesで扱う - 18,000 curated human demonstrationsと66 human-verified tasksを提供 - Core-50はdemonstration-based learningとexecution test、Transfer-16はasset/relation transfer、skill composition、deformable manipulationを対象-taskのtraining demonstrationなしで評価 - qualitativeなreal-robot rolloutsでsim-to-real transferを示す

2. 先行研究と比べてどこがすごい?

- 要旨からは不明(先行研究との直接比較は記述されていない) - 特徴として、複数arms・hands・多様assetsを組み合わせるcross-embodiment設計と、Core-50/Transfer-16の二層評価を備える点が挙げられている - 18,000 demonstrationsと66 human-verified tasksを備える大規模benchmarkであると述べられている

3. 技術・手法の肝は?

- composable simulation platformによりarms・hands・assetsを組み合わせ、randomized scenesを生成 - 18,000 curated human demonstrationsを学習・実行テストに用いる - Core-50でdemonstration-based learningとexecution test、Transfer-16でasset/relation transfer、skill composition、deformable manipulationをtarget-task training demonstrationsなしで評価 - diffusion、vision-language-action、world-action、prompted VLM-based methodsを比較対象とする

4. どうやって有効だと検証した?

- diffusion、vision-language-action、world-action、prompted VLM-based methodsを評価 - 最良のtrained multi-task policyはCore-50で29.1% success - benchmark finetuningなしのGPT-6はmove_eefでpalm-and-finger controlを行い、660 trialsでCore-50 5.2%、Transfer-16 1.9% - trained-policyのstage diagnosticsでcontact establishment、action coordination、achieved goalsの維持、composed tasksでのsequencing errorsを分析 - qualitative real-robot rolloutsでsim-to-real transferを例示

5. 議論はある?

- trained-policyのstage diagnosticsからcontact establishment、action coordination、achieved goalsの維持の失敗、composed tasksでのsequencing errorsが示される - benchmark finetuningなしのGPT-6はCore-50 5.2%、Transfer-16 1.9%にとどまる - HandsOnはmanipulation generalizationとreliable physical interactionの限界を調べるshared basisを提供すると述べられている - 具体的な議論の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されているdiffusion、vision-language-action、world-action、prompted VLM-based methods(GPT-6を含む) - 同分野の定番としてdexterous manipulationのsim-to-real transferやmulti-task policy learningに関する研究 - 個別論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianwei Luo, Yiming He, Hongjin Wu, Ting Pan, Debin Ren, Haorui Guo, Junlin Yang, Yuxin Zuo, Zhehao Kou, Kaisen Yang, Zhuoqun Lai, Yi Ding, Jiale Yu, Yuchen Zhang, Zijie Qiu, Haozhan Li, Ning Ding

分類: cs.RO

原文アブストラクト

General-purpose manipulation requires reliable behavior across embodiments, objects, and task demands. We introduce HandsOn, a composable simulation platform and benchmark for cross-embodiment dexterous manipulation. It supports five robotic arms, six dexterous hands, and approximately 200 rigid, articulated, and deformable assets in randomized scenes. The benchmark pairs 18,000 curated human demonstrations with 66 human-verified tasks: Core-50 supports demonstration-based learning and execution tests, while Transfer-16 evaluates asset and relation transfer, skill composition, and deformable manipulation without target-task training demonstrations. Qualitative real-robot rollouts illustrate sim-to-real transfer. Across diffusion, vision-language-action, world-action, and prompted VLM-based methods, the best trained multi-task policy achieves 29.1% Core-50 success. Without benchmark finetuning, GPT-6 using move_eef for palm-and-finger control achieves 5.2% on Core-50 and 1.9% on Transfer-16 over 660 trials. Trained-policy stage diagnostics expose failures in contact establishment, action coordination, and maintaining achieved goals, with additional sequencing errors in composed tasks. HandsOn provides a shared basis for investigating manipulation generalization and the limits of reliable physical interaction.

PR本紙発行元 EmplifAI