何が起きたか

arXiv掲載論文「RoboDx: Repair and Diagnosis of Faults in Robot Software」は、シミュレーション上のロボットナビゲーションソフトの修復と原因診断を評価する課題生成器を提示した。100課題のRoboDx-Hard-100のうち94課題を分析し、Claude Opus 5.5の修復はほぼすべて検証された一方、2故障課題では検証済み49件中、両方の故障を除去した修復は17件だった。

詳細

RoboDxは、既知の故障を注入した課題を生成する。修復の検証には、エージェントに見えないシナリオでロボットが正しく走行するかを使う。原因診断のトラックではコードを隠し、候補となる仮説のリストから原因を選ばせる。分析対象94課題の内訳は単一故障44件、二重故障50件で、二重故障のうち片方だけでは隠れたシナリオに失敗が現れない「quiet fault」を含む課題も扱った。 2故障課題で残された故障の多くは、課題の文書に正しい値が記載されていない設定定数だった。コードを見られない条件では、Opusが両方の故障を指摘したのは50課題中10件。別の原因診断評価では4モデルの正答数は最大38/94で、各仮説についてシミュレーターの出力をすべて与えるとほぼすべての課題で正答した一方、モデル自身が出力を予測しても検出可能な改善はなかった。実際のバグ修正プルリクエスト由来の97課題では、Claude Haiku 5.5が最も低い成績で、残る3モデルに順位差はなかった。

Key Facts

RoboDx-Hard-100はシミュレーション上のロボットナビゲーションソフトに既知の故障を注入した100課題からなる。[1]
分析した94課題の内訳は、単一故障44件、二重故障50件だった。[1]
二重故障課題でClaude Opus 5.5が検証された修復49件のうち、両方の故障を除去したのは17件だった。[1]
コードを隠した原因診断で、Opusが両方の故障を挙げたのは50課題中10件だった。[1]
実際のバグ修正プルリクエスト由来の97課題では、Claude Haiku 5.5が4モデル中で最も低い成績となり、他の3モデルに順位差はなかった。[1]

本紙の見方

この研究で中心になるのは、修復後の動作が隠れたシナリオで正しいことと、注入された故障をすべて取り除いたことを別々に測る設計だ。Claude Opus 5.5の修復はほぼすべて検証を通ったが、2故障課題の検証済み49件中、両方を除去したのは17件にとどまった。動作確認を通る修正であっても、故障の完全な解消を意味しないという差を、数値で示した点がRoboDxの評価上の要点である。 この差を生む要素として論文が挙げるのは、片方の故障がもう片方と同時に存在するときだけ問題を起こす「quiet fault」と、正しい値が課題文書に示されていない設定定数だ。単一のテストケースや修正対象のコードだけでは見つけにくい故障を、複数故障の組み合わせと隠れた走行シナリオで検査する構成になっている。したがって、評価値を読む際には「検証済み」の定義が、全故障の特定・除去ではなく、隠れたシナリオでの走行結果に置かれている点を区別する必要がある。 原因診断の結果も、観測の与え方に強く左右される。4モデルは、シミュレーターから得た測定値だけでは94課題中最大38件しか原因を特定できなかった一方、各仮説に対するシミュレーター出力をすべて受け取るとほぼすべてで正答した。モデルがその出力を自力で予測しても検出可能な改善がなかったという結果は、原因推定の評価が、モデルの推論能力だけでなく、原因候補ごとの挙動をどこまで観測できるかにも左右されることを示唆する。 ただし、RoboDxの生成課題はシミュレーション上のナビゲーションソフトを対象とし、実際のバグ修正プルリクエスト由来の97課題も別に評価されている。後者ではClaude Haiku 5.5が最も低く、他の3モデルの順位は定まらなかった。生成課題の結果を実ソフトウェア全般の性能順位として扱う根拠は、この結果だけでは得られない。今後確認すべきなのは、実際のロボットソフトで隠れたシナリオの設計がどこまで現場の故障を反映するか、また文書に正解値がない設定定数を評価課題がどう扱うかである。

なぜ重要か

ロボットソフトの修正を評価する際、隠れたシナリオで走行できたかだけでは、複数の故障がすべて除去されたかを判定できないことを、二重故障課題の結果が示している。RoboDxのように動作検証と原因の特定・除去を分けて測る設計は、修復エージェントの評価で何を「成功」と数えるかを明確にする必要性に関わる。