何が起きたか
arXivは2026年11月14日、病院内の長期作業で具身エージェントの失敗箇所や原因を調べるベンチマーク「HospitalBench」を報告した。対象はNVIDIA Isaac Sim上の病院作業10種類で、論文の初期結果は計画された60回のうち15回の試行に基づく。15回中、採点対象の5段階をすべて完了したのは2回だった。
詳細
各作業は採点しない準備段階2ステップの後、状態が次の行動に影響する採点対象のサブタスク5段階を、1回の連続したシミュレーションで行う。エージェントはカメラ画像を基に、スキル単位のツールを使って行動する。ベンチマークは各軌跡から、どこで連鎖が途切れたか、失敗した呼び出しの後に何をしたか、自己位置の推定が真の位置からどれだけずれたかを調べる。 15回の試行は、3モデルを高い推論努力の設定で実行し、作業T1とT10はそれぞれ両方の初期状態、T3は一方の初期状態で各1回行ったものだ。サブタスク1から5の後も進行していた試行数は順に15、8、4、2、2回。189件の失敗呼び出しのうち168件の後に異なる呼び出しがあり、そのうち111件は失敗しなかった。スクリプト化ロボットによる実行可能性の確認は10作業中3作業で行われた。論文は今回の結果を初期結果と位置づけ、全ベンチマークの結果ではないとしている。
Key Facts
| HospitalBenchは、NVIDIA Isaac Sim上の病院作業10種類を対象とする。 | [1] |
| 各作業は採点しない準備段階2ステップと、採点対象のサブタスク5段階で構成される。 | [1] |
| 初期結果は計画された60回のうち15回の試行で、5段階すべてを完了したのは2回だった。 | [1] |
| 189件の失敗呼び出しのうち168件の後に異なる呼び出しがあり、111件は失敗しなかった。 | [1] |
| スクリプト化ロボットによる実行可能性の確認は、10作業中3作業で行われた。 | [1] |
本紙の見方
このベンチマークの焦点は、病院作業の最終成否だけでなく、複数段階のどこで連鎖が崩れ、その後にエージェントがどう動くかを同じ軌跡から見る点にある。各段階の状態が次の行動を規定する設計では、単独タスクの成功を並べても、前の選択や観察が後続の作業に及ぼす影響は評価しにくい。HospitalBenchはこの依存関係を連続シミュレーションに置き、失敗位置、失敗後の呼び出し、自己位置推定のずれを診断対象にしている。 初期結果では、試行がサブタスク1後の15回から、5段階後には2回に減り、全段階を通過した試行も2回だった。ただし、これは60回の計画のうち15回で得た結果であり、全10作業を同じ範囲で評価した成績ではない。実施条件も、3モデルを高い推論努力の設定で用い、T1・T10は両初期状態、T3は一方の初期状態に限られる。したがって、この数値をモデル全般の能力や病院作業全体の成功率として読むことはできず、まず限定された条件下での診断結果として扱う必要がある。 失敗呼び出し189件のうち168件の後に別の呼び出しがあり、111件は次の呼び出しで失敗しなかったという内訳は、失敗後に行動を変えることと、タスク連鎖を完遂することが別の評価対象になり得ると示す。ただし、呼び出しを変えたことが適切な回復だったか、後続の状態を改善したかまでは、この集計だけでは分からない。失敗後の対応を評価するには、失敗の種類と次の行動、その結果を対応づけて読む必要がある。 また、スクリプト化ロボットによる実行可能性確認は10作業中3作業にとどまる。論文がこの確認を置くことで、エージェントの失敗と、与えられた呼び出し手段では作業を解けない可能性とを切り分けようとしている点は、評価設計上重要だ。今後は、残る計画分を含む試行結果、モデル・作業・初期状態ごとの差、位置推定誤差の実測値、失敗後の行動が完遂に結びつく条件を確認したい。論文はシーン、タスク連鎖、スクリプト化ロボット、評価ハーネス、軌跡を公開する意向を示しているが、公開時期は記載していない。
なぜ重要か
最終的な成功率だけでは、失敗した段階や失敗後の回復行動を区別できない。HospitalBenchは連続する5段階の状態変化と失敗後の呼び出しを記録するため、具身エージェントの評価で、完遂だけでなく行動連鎖のどこが問題になったかを検討する材料になる。
