配置と可動性を超えて：身体化インタラクションのための使用駆動型コードシーン

RoomWrightは、身体性インタラクションのための3Dシーンをコードとして生成するエージェントベースのフレームワーク。従来のコードベースシーン生成が視覚的構築とオブジェクトレベルの関節に焦点を当てていたのに対し、シーンの機能的用途をモデル化する。各アンカーをタスク中心として扱い、タスクに必要なオブジェクトとそのaffordanceを考慮するusage-driven object reasoningを実行する。また、コードエージェントが各インタラクションをtrigger, condition, effectルールにコンパイルし、オブジェクト間の因果依存関係を捉える。さらに、操作対象の向きの曖昧さをannotation-informed usage-guided orientationで緩和する。生成されたシーンは実行可能で、編集可能、シミュレーション対応であり、embodied AIやポリシー学習のためのインタラクティブな環境を提供する。

先行研究のコードベースシーン生成手法は、視覚的構築とオブジェクトレベルの関節に焦点を当てており、シーンの機能的用途がモデル化されていなかった。RoomWrightは、シーンの機能的用途を明示的にモデル化し、タスク中心のオブジェクト推論とインタラクションの因果ルールを導入することで、このギャップを埋める。また、操作対象の向きの曖昧さを扱う点も新しい。

手法の肝は、usage-driven object reasoningとコードエージェントによるインタラクションのコンパイル。各アンカーをタスク中心とし、タスクに必要なオブジェクトとそのaffordanceを推論する。コードエージェントは各インタラクションをtrigger, condition, effectルールに変換し、オブジェクトの状態を更新して因果依存関係を捉える。さらに、annotation-informed usage-guided orientationにより、操作対象の向きを決定する。

広範な実験により有効性を検証した。具体的な評価指標や比較対象は要旨からは不明だが、生成されたシーンが実行可能で、編集可能、シミュレーション対応であることを示し、embodied AIやポリシー学習に有用であることを実証した。

要旨からは、議論の余地や限界についての具体的な言及は不明。ただし、操作対象の向きの曖昧さをannotation-informedで緩和する点は、アノテーションに依存する可能性があり、そのコストや一般化に関する議論が考えられる。また、生成されたシーンの複雑さやスケーラビリティに関する議論も想定されるが、要旨には記載がない。

要旨で参照されている先行研究は明示されていないが、コードベースのシーン生成手法（例: CodeIt, SceneCraftなど）や、embodied AIのためのシーン合成に関する研究が関連する。また、affordance学習やインタラクションの因果モデリングに関する研究も関連する。具体的には、要旨の「Recent code-based scene generation methods」に該当する論文を読むことが推奨される。