AcrossDEX 1.0：人間動作の事前学習から異なるハンド身体への両腕巧緻操作へ

- 両手の巧緻操作(bimanual dexterous manipulation)のための学習システム AcrossDEX 1.0 を提案する研究。 - 人間の動画による pretraining、simulation 上の expert learning、robot demonstration 収集、visual closed-loop 実行を一貫して繋ぐ。 - 対象タスクは lid opening and return と closed-lid object reorientation。 - Inspire hands(6-channel)と Allegro hands(16-joint)の2種類の hand embodiment を扱う。

- 人間動画の操作経験を robot control に活かすには、human pose と robot command の対応付け、embodiment 固有の kinematics と contact dynamics の考慮が必要という課題を設定。 - 単一の adaptation pipeline で2つの hand embodiment を扱える点を示す。 - 直接 regression、diffusion、flow matching を同一タスクで比較し、generative policy の replanning 制約の効果も検証。 - 具体的な先行研究との優劣比較は要旨からは不明。

- HOT3D Aria で pretraining し、5枚の画像と直前1秒の30個の annotated hand states から1秒先の両手動作を予測。 - Robot adaptation では visual encoder、temporal backbone、wrist parameters を保持。 - shared wrist representations、separate finger fields、validity masks で Inspire hands と Allegro hands の両方を支援。 - Robot policy は frontal images、command history、task conditions から60個の control targets を予測し、prefix を実行して更新観測から replan する。

- lid opening and return と closed-lid object reorientation で direct regression、diffusion、flow matching を比較。 - Direct regression の成功率は opening and return 40.6%、Inspire reorientation 100.0%、Allegro reorientation 93.3%。 - Flow matching は Allegro reorientation で 90.0%。 - Paired comparisons により、previous plan で replanning を制約すると generative policy の連続実行が改善することを示す。

- 2つの hand embodiment に共通する adaptation pipeline の有効性を示す。 - contact coordination と action-chunk continuity の役割を強調。 - タスクごとに regression と flow matching の優劣が異なる点が示唆される。 - 限界や失敗要因の詳細な議論は要旨からは不明。

- HOT3D Aria(pretraining データセット)。 - Inspire hands と Allegro hands(hand embodiment)。 - diffusion、flow matching、direct regression(action 生成手法の比較対象)。 - 同分野の定番として visual imitation learning や action chunking 関連研究。