日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

人間-シーン相互作用arXiv:2611.25005

Inhabitant: 空間制御と定量的フィードバックを備えた長期的人間-シーン相互作用エージェントフレームワーク

Inhabitant: An Agent Framework for Long-Horizon Human-Scene Interaction with Spatial Control and Quantitative Feedback

シェア:XThreadsFacebookLINEはてブBluesky

言語モデルエージェントが3Dシーン内で位置・経路・姿勢を指定して動作を制御し、実行結果のずれを定量的に評価して修正する長期的人間-シーン相互作用フレームワークを提案。家庭内75タスクのベンチマークInhabitで高い成功率を達成。

詳しい要約

1. どんなもの?

- Inhabitant は long-horizon human-scene interaction (HSI) 生成のための training-free な agent framework。 - 1つの言語指示のもと、language-model agent が 3D scene 内で一連の interaction を計画・実行する。 - 各 motion を positions, paths, poses で指定し、実行結果の意図からのずれを測って制御仕様を修正する。 - 評価用に Inhabit benchmark も構築。31 の furniture layouts の apartment で 75 の household tasks から成る。 - 各 task は movable objects 上の 1〜3 個の goal を連鎖させ、fingers を除く全身で実行する。

2. 先行研究と比べてどこがすごい?

- 従来の HSI 生成は single interaction が中心だったが、近年は long-horizon interaction へ移行。 - 既存 agent は motion への spatial control と実行への quantitative feedback を欠き、toy を拾って basket に投げるような難しい日常シナリオで失敗し、interaction sequence を完遂できないことが多い。 - Inhabitant は spatial control と quantitative feedback を組み込み、training なしで sequence 完遂率を高める点が新しい。 - 既存の long-horizon HSI agent との具体的な数値比較は要旨からは不明。

3. 技術・手法の肝は?

- training-free の agent framework。agent が各 motion を positions, paths, poses で明示的に指定する。 - 実行された interaction が意図からどれだけ逸脱したかを定量的に測定する quantitative feedback を用いる。 - そのずれに基づいて control specification を revise するループを持つ。 - language-model agent が計画と実行を担い、1つの指示から複数 interaction を連鎖させる。 - 具体的なモデル構成や feedback の計算式は要旨からは不明。

4. どうやって有効だと検証した?

- Inhabit benchmark を構築し評価。31 の furniture layouts、75 の household tasks、各 task は 1〜3 goals の連鎖。 - Claude Opus 5.5 で 98.7%、Claude Sonnet 5.5 で 93.3%、Gemini 4 Argon で 82.7% の task 完遂率。 - Ablation により、spatial control なしでは大半の task に失敗し、quantitative feedback なしでは motion の精度が低下することを確認。 - 具体的な評価指標や被験者実験の有無は要旨からは不明。

5. 議論はある?

- spatial control と quantitative feedback の両方が long-horizon HSI の完遂に重要であることを ablation で示唆。 - 一方、finger を除く全身動作に限定した評価であり、手指を含む manipulation への一般化は要旨からは不明。 - モデル間の性能差(Opus 5.5 と Gemini 4 Argon で約16ポイント差)があり、language-model 依存性が議論点になり得る。 - training-free ゆえの限界や失敗事例の分析は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として明示された long-horizon HSI の既存 agent 研究(要旨では個別名の記載なし)。 - 基盤モデルとして用いられた Claude Opus 5.5、Claude Sonnet 5.5、Gemini 4 Argon の関連研究。 - HSI 生成の基礎となる single interaction 生成の代表的手法(一般名: human-scene interaction generation)。 - 3D scene 内の language-guided agent 計画に関する代表的研究(一般名: LLM-based embodied agent / task planning)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yao Zhang, Zhuchenyang Liu, Yu Xiao

分類: cs.RO, cs.CV

原文アブストラクト

Recent work on human-scene interaction (HSI) generation moves from single interactions to long-horizon interaction, where a language-model agent plans and executes a sequence of interactions in a 3D scene under one instruction. However, existing agents struggle in challenging everyday scenarios (e.g., picking up a toy and throwing it into a basket) because they lack spatial control over the motion and quantitative feedback on its execution, and they often fail to complete the interaction sequence. To address these gaps, we present Inhabitant, a training-free agent framework in which the agent specifies each motion through positions, paths and poses, measures how the executed interaction deviates from its intent, and revises the control specification accordingly. For an extensive evaluation in such scenarios, we build Inhabit, a benchmark of 75 household tasks in 31 furniture layouts of an apartment, in which every task chains one to three goals on movable objects and is carried out by the whole body, excluding fingers. On Inhabit, Inhabitant completes 98.7\% of the tasks with Claude Opus 5.5, and 93.3\% and 82.7\% with Claude Sonnet 5.5 and Gemini 4 Argon, respectively. Ablations confirm that without spatial control the agent fails most tasks, and without quantitative feedback its motion becomes less precise. Code is available on the project page.

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI