群制御2026/8/13arXiv:2608.13028v1

人間からロボットへの物体受け渡し予測を改善するRGB-Dビデオ生成

RGB-D Video Generation for Improving Human-to-Robot Object Handover Prediction

人間とロボットの物体受け渡しを改善するため、RGB-Dビデオデータセットと生成パイプラインを提案し、実ロボットでのゼロショット転移と早期意図予測を実現した。

詳しい要約

1. どんなもの？

本論文は、人間からロボットへの物体受け渡し（H2R object handover）の予測性能を向上させるために、RGB-Dビデオ生成フレームワークを提案している。具体的には、手渡しシーンに特化したRGB-Dビデオデータセット「Hand2Bot」を導入し、安定したビデオ拡散モデルと意図認識型時間顔エンコーダ（Intention-Aware Temporal Face Encoder）を用いた生成パイプライン「PassGen」を提案する。さらに、物理的な深度マップのノイズを模倣する形態ベースの深度編集戦略により、シミュレーションと実環境のギャップ（sim-to-real gap）を低減する。

2. 先行研究と比べてどこがすごい？

従来の研究は、手の動きや物体の位置に焦点を当てた手中心（hand-centric）のアプローチが主流であり、大規模な人間中心データセットの不足とsim-to-real gapが課題であった。本手法は、身体姿勢や表情などの文脈情報を含むRGB-Dビデオを生成することで、より豊かな手がかりを提供し、従来の手中心のベースラインと比較して、ゼロショット転移と早期の意図予測を可能にしている点が優れている。

3. 技術・手法の肝は？

手法の核は、PassGenと呼ばれる生成パイプラインである。これは、安定したビデオ拡散モデル（stable video diffusion）を用いて、手と物体の一貫性を保ちながら現実的な手渡しシーケンスを合成する。さらに、意図認識型時間顔エンコーダ（Intention-Aware Temporal Face Encoder）を導入し、顔の表情やタイミングから人間の意図を捉える。また、形態ベースの深度編集戦略（morphology-based depth editing）により、実環境の深度センサノイズを再現し、sim-to-real gapを橋渡しする。

4. どうやって有効だと検証した？

実験では、提案フレームワークが高い意図識別精度（intention identification accuracy）と低い誤発火率（false trigger rate）を達成することを、アブレーション研究と物理ロボットプラットフォームでの実環境展開の両方で検証した。また、PassGenで訓練したモデルが、従来の手中心のベースラインと比較して、ゼロショット転移と早期の意図予測を可能にすることを確認した。

5. 議論はある？

要旨からは、議論の詳細は不明であるが、生成データの品質や多様性、実環境でのロバスト性、計算コストなどが潜在的な議論点として考えられる。また、提案手法が特定の物体や環境に依存する可能性や、生成されたビデオの現実性の限界についても議論の余地がある。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、ビデオ拡散モデル（video diffusion models）や、人間の意図推定（intention estimation）、物体受け渡し（object handover）に関する研究が挙げられる。具体的には、安定したビデオ拡散モデルの元となった拡散モデルに関する論文や、人間の動作予測に関する研究を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianyu Sun, Zhoujie Fu, Zihui Gao, Bang Zhang, Guosheng Lin

分類: cs.CV, cs.RO

原文アブストラクト

Human-to-robot (H2R) object handover is a fundamental capability for human-robot collaboration, yet progress is hindered by the scarcity of large-scale, human-centric datasets and the significant sim-to-real gap. To address these challenges, we introduce Hand2Bot, an RGB-D video dataset that provides rich contextual information such as body posture and facial expressions, specifically collected for handover scenarios with real-world noise patterns. We further propose PassGen, a generative pipeline that leverages stable video diffusion and an Intention-Aware Temporal Face Encoder to synthesize realistic handover sequences while ensuring hand-object consistency. To bridge the sim-to-real gap, we implement a morphology-based depth editing strategy that replicates realistic sensor noise found in physical depth maps. Experimental evaluations demonstrate that our framework achieves high intention identification accuracy and low false trigger rates in both ablation studies and real-world deployment on a physical robot platform. Our results confirm that training on PassGen allows for robust zero-shot transfer and earlier intention anticipation compared to traditional hand-centric baselines, effectively enabling socially aware robotic behavior in shared workspaces.

arXivで原文を読む →arXiv概要ページ

← 論文一覧