VLM誘導コンタクトリターゲティングと生成的パートナー状態モデリングによるヒューマノイド-人間インタラクション

- ヒト-ヒトのモーションキャプチャ実演から、実機展開可能な humanoid-human interaction 方策を学習するフレームワーク REACT を提案。 - 接触時の人間の遮蔽・視野外といった severe partial observability 下での動作を対象とする。 - semantic contact structure を、実演処理・interaction learning・onboard control をつなぐ監督信号として扱う。 - simulation と実機 Unitree G1 で5つの contact-rich interaction を評価。

- 従来は接触時の pose estimation 失敗のため external tracking や privileged human state に頼る必要があった。 - またヒト-ヒト motion-capture データには heavy mutual occlusions 由来の誤差が入る問題があった。 - REACT は semantic contact を介して実演を処理し、onboard sensing のみで動く方策へ蒸留する点が新しい。 - generative partner-state modeling により遮蔽された egocentric view から相手動作を予測する。

- VLM-guided contact modeling and retargeting pipeline で意味的に重要な接触を同定し、humanoid-human geometry へ転写して interaction structure を保持。 - その注釈を用い、interaction-aware contact rewards で privileged interaction policies を学習。 - photorealistic human depth rendering を用い、onboard sensing のみの deployable egocentric depth policies へ distillation。 - 遮蔽対策として、occluded egocentric views から partner motion を予測する generative partner-state modeling objectives を導入。

- simulation と実機 Unitree G1 の5つの contact-rich interactions で評価。 - semantic contact modeling が実演された interaction の保持を大幅に改善。 - generative partner-state modeling が5つ中4つの interaction で contact recall を改善し、特に heavy occlusion 下で有効。 - 実機では onboard sensing のみで5つ全ての interaction を実行。

- 要旨からは不明（限界や失敗事例の詳細な議論は記述されていない）。 - ただし generative partner-state modeling の contact recall 改善は5つ中4つに留まり、全 interaction ではなかった点が示唆される。

- VLM-guided contact modeling / retargeting 関連手法（要旨で参照される具体的論文名は不明）。 - privileged learning と distillation を用いる teacher-student 系の humanoid loco-manipulation 研究。 - egocentric depth による humanoid-human interaction 研究。 - generative partner modeling / human motion prediction 関連研究。