環境AIによる手術室ヒューマノイド自律のためのエージェント型オーケストレーション

- Operating room (OR) における humanoid の自律タスク実行を目指す研究 - ambient AI-based agentic orchestrator と humanoid robotic actor を結合する ActOR を提案 - wall-mounted ambient camera と robot の head-mounted camera を統合し shared object-level digital twin (DT) を構築 - LLM agent が DT 上で計画を立て、事前プログラム済みの locomotion/manipulation skills を実行 - シミュレーションと実環境の mock OR で評価

- ambient sensing を workflow 最適化ではなく robot action 誘導に使う点が独自 - ambient AI 無しの humanoid は partial onboard observations により de novo orientation/planning が困難という課題に対処 - ambient perception により target が視野外の際の探索を 1.05 から 0.12 Explore calls/trial に削減 - closed-loop feedback で nominal 時の成功率を 46.7% から 83.3% へ向上 - perturbation 下でも 8.3% から 51.7% へ改善

- wall-mounted ambient camera と head-mounted camera を融合し object-level DT を生成 - LLM agent が DT 上で計画し、task-specific training 無しに事前プログラム済み skills を選択 - 実行中に DT 更新と execution outcomes を planner へフィードバック - 失敗時は retries、alternative approaches、replanning を実施 - ambient perception が scene state を提供し robot-only observations を補完

- 実 room から再構成した 2 つの simulated OR で 3 タスクを評価 - target が初期視野外の条件で Explore calls を比較 - nominal execution と navigation/object-relocation/grasp perturbations を注入して成功率を比較 - physical mock OR で humanoid を用い 20 試行中 14 の single-object disposal を完了 - 場面変化後の replanning も実演

- ambient AI-based observations が robot action planning を改善し成功率向上と探索削減をもたらすと主張 - skill outcomes と DT updates の planner へのフィードバックが multi-step task success を改善 - mock OR における multi-step disposal タスクの humanoid 自律性の feasibility を示す - 限界や一般化可能性についての詳細は要旨からは不明

- ambient sensing を用いた OR workflow 最適化の先行研究 - LLM agent による robot task planning 関連手法 - digital twin を用いた robot perception/planning 研究 - humanoid manipulation の perturbation 頑健性に関する研究 - 要旨で参照/比較されている個別研究は明示されていないため、上記は同分野の一般カテゴリ