人間からロボットへの動作転移のための手と物体の接触軌道抽出

- 人間動画からロボットが追従可能な Hand-Object Contact 軌跡を抽出する手法 HOC2R の提案。 - frozen な DINOv3 と SAM 2.1 の特徴に学習済み head を組み合わせ、hand-object association と contact localization を行う。 - 2 モード: 未トリミング動画で可視 contact を検出・計数・位置推定する count-aware automation と、contact frame 既知時に二本指 gripper 向けの fixed-two localization。 - 人間実演からロボット用 contact 軌跡を抽出する実用的 pseudo-labeling 手法として位置づけられる。

- 適応した VRB2 baseline と比較し、30-task point-annotated benchmark で contact-count accuracy を 58.1% から 71.4% へ改善。 - 同 benchmark で mean localization distance を 19.81 から 10.46 pixels へ低減。 - 未見の RGB-D rollout 7 件で、five-task fixed-two checkpoint が mean localization distance を 67.67 から 27.02 pixels へ低減。 - ロボット評価 6 系列で 30-task fixed-two checkpoint が feasible trajectory 4 件・成功 3 タスクを達成し、各適応 baseline の 2 件・1 タスクを上回る。 - 単一 hand 場面で競合的、hand-color shift に頑健、多 hand 場面で最強と報告。

- frozen な DINOv3 と SAM 2.1 の特徴を利用。 - 学習済み head により hand-object association と contact localization を実施。 - count-aware automation: 未トリミング動画中で可視 contact の検出・計数・位置推定を自動化。 - fixed-two localization: contact frame が既知の場合に二本指 gripper 向けの 2 点 contact 位置推定を行う。 - 抽出した contact 軌跡をロボット動作へ転移する枠組み。

- 30-task point-annotated benchmark で count-aware automation を適応 VRB2 baseline と比較。 - 未見 RGB-D rollout 7 件で five-task fixed-two checkpoint を評価。 - ロボット評価 6 系列で 30-task fixed-two checkpoint の feasible trajectory 数とタスク成功率を適応 baseline と比較。 - 単一 hand 場面、hand-color shift、多 hand 場面での挙動も評価。

- 評価した単一 hand 場面では競合的、hand-color shift に頑健、多 hand 場面で最強と報告。 - 人間実演からロボット利用可能な contact 軌跡を抽出する実用的 pseudo-labeling 手法として支持される結果。 - 限界や失敗要因の詳細は要旨からは不明。

- 比較対象の VRB2 baseline。 - 特徴抽出に用いた DINOv3 および SAM 2.1。 - 関連分野の定番として hand-object interaction detection や contact localization の研究。