人間の実演をあらゆるロボットの事後学習データに：手ではなく物体をリターゲティング

人間のdemonstrationを、身体構造や能力が異なる任意のロボットのpost-training dataとして使うための手法。手の動きをretargetingするのではなく、objectの動きをretargetingする点が特徴。mobile phoneのような簡易でscalableなdeviceで記録したdemonstrationから、body-freeなrecord（objectのpose時系列、contact interval、provenance付き再構成3D object）を生成する。URDFと短いdescriptorを与えられた任意のrobotをそのrecordに対して解き、demonstrated object motionをground truthとしてsimulation上で採点する。human-to-simulation-to-robot transferのhuman-to-simulation部分をrobotごとに測定する。各(robot, episode)ペアはpass、named mode付きfailure、理由付きrefusalのいずれか1つのoutc…

従来、human demonstrationは主にvision-language-action modelのpretrainingに使われ、同じdataをtarget embodimentやtask-oriented trainingに使うことはほとんどできなかった。本手法はhandのmotionではなくobjectのmotionをretargetingすることで、mobile phoneのようなscalableなdeviceで記録したdemonstrationを、構造・能力の異なるrobotのpost-training dataとして利用可能にする点が先行研究と異なる。

captureからbody-freeなrecord（objectのpose over time、contact interval、provenance付き再構成3D object）を生成する。robotはURDFと短いdescriptorで与えられ、そのrecordに対して解かれ、simulation上でdemonstrated object motionをground truthとして採点される。各(robot, episode)ペアにはpass、named mode付きfailure、理由付きrefusalのいずれか1つのoutcomeがmotion前に与えられる。kinematic feasibilityは±50 mm / ±15 degで評価される。

42 capturesを8 robotsで解き、157ペアを分析。31.2%がpass、52.2%がfail、14.0%がrefused、2.5%がunauditable（simulation上のkinematic feasibility、±50 mm / ±15 deg）。refusalの妥当性検証では、checksがstored evidenceに基づいてrefuseしたペアをそれでも実行した場合、13 of 13が失敗（うち5はpublic modelがhandをweldedしているbody）。description fileによるrobotのscreeningは、outcomeがguessingとほとんど変わらない予測性しか示せなかった。

refusalは妥当であった（refuseされたペアを実行すると全13件が失敗）。description fileではrobotをscreeningできないことが示された。まだpolicyはrecord上で訓練されていない。recordはrobotがpost-trainできる対象を決めるが、policyが実機で機能するかはsimulation-to-robot questionとしてdownstreamで答える必要がある。

要旨で参照/比較されている研究は明示されていない。関連手法としてhuman-to-simulation-to-robot transfer、vision-language-action modelのpretraining、object-centric retargeting、kinematic feasibility check、URDFベースのrobot modelingが挙げられる。同分野の定番としてhuman demonstrationからのrobot learningやsim-to-real transferの研究が次に読むべき候補。