ヒューマン・シーン相互作用2026/10/20arXiv:2610.27725

World2HOSI：長期的な人・物体・シーン相互作用生成のためのマルチエキスパート統合ハーネス

World2HOSI: A Multi-Expert Harness for Long-Horizon Human-Object-Scene Interaction Generation

3Dガウシアンスプラッティングのシーンと言語指示から、複数の既存エキスパートモデルを協調させて長期的な人・物体・シーン相互作用データを生成する仕組みを提案した論文。

詳しい要約

1. どんなもの？

- 長期的な human-object-scene interaction (HOSI) を生成するための multi-expert orchestration harness「World2HOSI」 - 3D Gaussian Splatting (3DGS) シーンと自然言語指示から連続的な HOSI データを生成 - 単一の統合モデルではなく、既存の HOI/HSI 専門家モデルを組み合わせて長期的タスクを遂行 - 対象領域は embodied AI、アニメーション、ゲーム開発

2. 先行研究と比べてどこがすごい？

- 既存の HOI モデルや HSI モデルは各領域では優れるが、複数の interaction skill を要するタスクは単独では扱えない - 統合 HOSI モデルの学習はデータが乏しく高コスト - World2HOSI は新規の統合モデルを学習せず、既存 expert の orchestration により単一 expert の到達範囲を超えるタスクを実現 - 多様なデータ生成も可能と報告

3. 技術・手法の肝は？

- 中心アイデアは「より強い単一モデル」ではなく orchestration - 永続的な structured scene state を中心とした closed loop を構築 - シーン状態は decoupled な background と object assets から構成 - harness が scene state 上で action stages を計画し、各 expert を native conditioning interface 経由で呼び出す - 各 action の効果を scene state に書き戻し、呼び出しを進化する world に接地 - 物理的アーティファクト低減のため、human motion には bounded residual optimization、object manipulation には contact-driven physics simulation を適用し interaction intent を保持

4. どうやって有効だと検証した？

- 実験と perceptual user study を実施 - 評価した HOSI タスクで最高の task completion と interaction quality を達成 - より多様なデータを生成できることを示した - 具体的なデータセット名・ベースライン名は要旨からは不明

5. 議論はある？

- 物理的妥当性を bounded residual optimization と contact-driven physics simulation で担保する設計上の議論 - interaction intent を保持しつつ物理アーティファクトを低減するトレードオフ - 単一モデルではなく orchestration に依存するため、expert 間の整合や scene state の一貫性が論点になり得る（要旨からは不明） - 限界や失敗事例の詳細は要旨からは不明

6. 次に読むべき論文は？

- 要旨で直接参照される HOI モデル、HSI モデル、3D Gaussian Splatting (3DGS) 関連研究 - 比較対象の具体的な論文名は要旨からは不明 - 関連手法として human-object interaction (HOI)、human-scene interaction (HSI)、contact-driven physics simulation、bounded residual optimization の各文献

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiushu Li, Haoran Wang, Yumeng Liu, Zhiyang Dou, Yuan Liu, Yuexin Ma, Cheng Lin

分類: cs.CV, cs.AI

原文アブストラクト

Long-horizon human-object-scene interaction (HOSI) is central to embodied AI, animation, and game development. Existing human-object interaction (HOI) and human-scene interaction (HSI) models excel in their respective domains, but none alone covers tasks requiring multiple interaction skills. Training unified HOSI models is hindered by scarce and costly data. We introduce World2HOSI, a multi-expert orchestration harness that generates continuous HOSI data from 3D Gaussian Splatting (3DGS) scenes and natural language instructions. Our key insight is that long-horizon HOSI hinges not on a stronger single model but on orchestration. Given a shared, structured scene state and an orchestration harness grounded in it, existing experts can jointly accomplish tasks beyond the reach of any of them alone. World2HOSI realizes this insight as a closed loop around a persistent scene state built from decoupled background and object assets. A harness plans action stages over this state, invokes experts via their native conditioning interfaces, and writes each action's effects back, so that every invocation is grounded in the evolving world. To reduce physical artifacts, bounded residual optimization and contact-driven physics simulation further ensure the physical plausibility of human motion and object manipulation, respectively, while preserving interaction intent. Experiments and a perceptual user study show that World2HOSI achieves the best task completion and interaction quality on the evaluated HOSI tasks, while generating more diverse data.

arXivで原文を読む →arXiv概要ページ

← 論文一覧