World2HOSI、長期の人間・物体・シーン相互作用生成のための多専門家ハーネスを提案

何が起きたか

arxiv.orgは2026-10-20、World2HOSI: A Multi-Expert Harness for Long-Horizon Human-Object-Scene Interaction Generationを公開した。論文は、3D Gaussian Splatting（3DGS）シーンと自然言語指示から連続的なHOSIデータを生成する多専門家オーケストレーション・ハーネスを提案した。著者らは、長期HOSIの鍵は単一モデルの強化ではなく、共有された構造化シーン状態の上で複数の既存エキスパートを調停することだと位置づけている。

詳細

World2HOSIは、背景資産と物体資産を分離して構築した永続的なシーン状態を中心に閉ループを形成する。ハーネスはこの状態上で行動段階を計画し、各エキスパートをそれぞれのネイティブな条件付けインターフェースで呼び出し、そのたびに生じた効果をシーン状態へ書き戻す。これにより、各呼び出しが更新中の世界に接地される設計である。 また、物理的な不自然さを抑えるために、bounded residual optimization と contact-driven physics simulation を組み合わせ、前者で人間動作の物理的見た目を、後者で物体操作の物理的妥当性を高めつつ、相互作用の意図は保つとしている。実験と知覚ユーザー調査では、評価したHOSIタスクで最良のタスク完了度と相互作用品質を示し、より多様なデータを生成したとされる。

Key Facts

本紙の見方

World2HOSIの新規性は、単一の生成モデルを大型化するのではなく、既存の複数エキスパートを「調停する層」を中核に置いた点にある。論文本文が強調する通り、対象は長期のHOSIであり、入力は3DGSシーンと自然言語指示、出力は連続データである。ここで重要なのは、モデル性能の競争軸が生成器そのものから、状態管理、段階計画、呼び出し順序、書き戻しの整合性へ移っている点だとみられる。 構造面では、背景資産と物体資産を分離した永続シーン状態が土台になっている。単にシーンを与えて一括生成するのではなく、各アクションの効果を都度反映させる閉ループであるため、長い時系列の一貫性を保つ設計が主題である。さらに、bounded residual optimization と contact-driven physics simulation を組み合わせていることから、見た目の連続性だけでなく、接触を伴う操作の物理らしさを別立てで補正している構図が読み取れる。これは、アニメーションやゲーム向けの見栄えと、embodied AI向けの相互作用データの両方を意識した設計と考えられる。 本紙の見方としては、これは汎用生成AIの延長というより、シーン状態を保ちながら複数の専門家を統合する実行基盤の提案である。既存のHOI/HSIモデルではカバーし切れない「複合タスク」を、オーケストレーションで埋めにいく発想が新しい。一方で、実運用上の焦点は、どのエキスパートをどう組み合わせたのか、状態書き戻しの誤差が長期で累積しないか、そして評価済みHOSIタスク以外にどこまで一般化するかに移る。論文は実験と知覚ユーザー調査で優位性を示したが、タスクの範囲、データ規模、計算コスト、失敗例の限界は本稿時点での確認事項として残る。

なぜ重要か

World2HOSIが示したのは、長期HOSIでは単一モデルの性能よりも、状態管理と複数エキスパートの連結方法が成果を左右しうるという点である。論文が3DGSシーン、自然言語指示、物理補正を一体で扱っているため、生成データの品質だけでなく、下流のembodied AIやアニメーション制作で必要な一貫性の条件が焦点になる。

日本への影響

日本のアニメーション、ゲーム制作、ロボット向け合成データの分野では、3DGSシーンを起点にした状態管理と物理補正の組み合わせが関係しうる。ただし、実際にどの制作工程へ入り込めるかは、評価済みHOSIタスクの範囲とデータ作成コストが公開された情報だけでは判断できない。