ロボットソフト向け課題解決データセット「Robo-SWE」、236件を公開

何が起きたか

arXiv掲載論文「Robo-SWE」は2026年11月11日、ロボットソフトウェアの課題解決能力を評価するデータセットを発表した。28の公開ロボティクスリポジトリから236件の実行可能な課題を集め、ROS 2システム、シミュレーション・物理エンジン、ロボティクスアルゴリズムライブラリ、ロボット学習フレームワークの4領域を対象とする。5種類のコーディングエージェント構成による3,540回の評価では、解決率は43.9〜56.5%だった。

詳細

各課題には、元のissue、修正前コミット時点のリポジトリを動かすコンテナレシピ、開発者による修正、開発者のテストが含まれる。テストは修正前に失敗し、修正後にはオフラインで繰り返し実行して成功することを条件としている。候補となった1,567件のプルリクエストについて、各選考段階と不採用理由を記録した来歴台帳も備える。 論文が示した解決率は、Claude Sonnet 5.5が45.8%、Claude Opus 5.5が56.5%、GPT-6.1 Solが最大努力設定で54.1%、中程度の努力設定で52.5%、GPT-6 Astraが51.4%、GLM-5.3が46.2%、Kimi K3.1 Proが43.9%。主要な設定では各3回実行した。評価全体は3,540回で、記録された軌跡は3,529件。データセットと公開リーダーボードはオンラインで公開されている。人間のレビュアーによる課題の公平性検証は今後の作業としている。

Key Facts

本紙の見方

Robo-SWEの特徴は、ロボット分野の課題を題材にしただけでなく、修正前の環境、開発者の修正、修正前後で成否が変わるテストを一つの評価単位にまとめた点にある。一般的なソフトウェア課題と異なり、ROS 2のビルド手順や物理エンジンを使うシミュレーション、ロボット学習用フレームワークを含むため、評価対象に分野固有の実行環境を持ち込んでいる。ロボットソフトの修正能力を、単なるコード生成ではなく、環境を含む課題解決として測ろうとする設計と読める。 ただし、236件は28リポジトリのマージ済みプルリクエストから選ばれた課題である。したがって測定しているのは、実際に修正され、テストが用意された過去の課題に対する再現可能な解決能力であり、未解決の不具合や新規開発での能力を直接示すものではない。1,567件の候補すべてについて選考段階と不採用理由を残す台帳は、236件への絞り込み過程を検討する手掛かりになる。一方、記録があること自体は、採用された課題がロボットソフト全体を代表することの証明ではない。 解決率はClaude Opus 5.5の56.5%、GPT-6.1 Solの最大努力設定の54.1%など、設定ごとに差がある。GPT-6.1 Solでは努力設定による差も示されたが、論文が述べるのは主要設定ごとの3回実行の結果であり、数値をそのまま恒常的な優劣とみなすには限界がある。さらに、テストの反復オフライン実行は修正の再現可能性を支えるものの、実機でのタイミング依存動作やハードウェア固有の挙動まで検証したとはいえない。論文自身も課題の公平性に対する人間のレビューを今後の作業としている。 このため、次に見るべきなのは単一の解決率だけではなく、課題の採用・除外基準、テストが実際の動作をどこまで捉えるか、実機依存の不具合を評価に含められるかである。公開リーダーボードは構成間の比較を可能にするが、236件の課題で得た結果をロボット開発全般の能力へ広げるには、課題領域や検証方法の範囲を確認する必要がある。

なぜ重要か

ロボットソフトのコーディングエージェント評価は一般的なソフトウェア課題だけでは扱いにくいが、Robo-SWEはROS 2や物理エンジンなどを含む実行環境と、修正前後のテストを課題に結び付けている。実機での安全性や動作を保証する評価ではないため、結果を開発支援能力の指標として使う際は、オフライン課題での解決率と現場での性能を区別する必要がある。