何が起きたか

2026年11月6日掲載の論文「Flex-RSI: Benchmarking Recursive Self-Improvement of Frontier Agents」は、視覚・ロボット課題を対象に、固定予算でエージェントの再帰的な自己改善を測るベンチマークを提示した。各ラウンドで実行役が課題の解法を改善し、検証データで得点が上がった解法だけを残す。その後、改善役が実行役自身を含むハーネスを改訂し、最終解は非公開テストデータで評価する。

詳細

各試行は同じ汎用ハーネスから始まり、ハーネスにはプロンプト、ツール、メモリー、制御ループが含まれる。評価対象は知覚、推論、ロボット動作、3D再構成、視覚的な制作、インフラストラクチャーにまたがり、クローズドソースモデルとオープンウェイトモデルを調べた。 論文は、自己改善の効果がエージェント自身に解法を構築させる場合に大きく、成功・失敗だけを記録するフィードバックはオープンウェイトモデルの改善を制約すると報告した。また、物理的安定性や厳密な正確性が求められる課題で同モデル群の遅れが大きく、ハーネス自体の編集も改善に寄与したとする。

Key Facts

Flex-RSIは、固定予算の下で視覚・ロボット課題におけるエージェントの再帰的自己改善を評価するベンチマークとして提示された。[1]
各試行は同じ汎用ハーネスから始まり、検証データで得点が上がった解法を残し、最終解を非公開テストデータで評価する。[1]
評価対象には知覚、推論、ロボット動作、3D再構成、視覚的な制作、インフラストラクチャーが含まれる。[1]
論文は、成功・失敗のみを記録するフィードバックがオープンウェイトモデルを制約し、物理的安定性や厳密な正確性が求められる課題で同モデル群の遅れが大きいと報告した。[1]
ペア比較の実行では、ハーネス自体の編集が改善に寄与したと論文は報告した。[1]

本紙の見方

Flex-RSIの新しさは、エージェントの出力だけでなく、出力を生むハーネスの改訂も評価対象に置いた点にある。既存ベンチマークの多くはハーネスを固定して解答を採点するか、大規模なモデル訓練を対象にしていたと論文は説明する。ここでは、課題を解く実行役と、プロンプトやツール、メモリー、制御ループを含むハーネスを直す改善役を分け、両者の反復を固定予算内で測る。したがって、モデル単体の能力と、モデルをどう動かすかを改善する能力を切り分けて見る設計といえる。 評価手順も結果の読み方を左右する。解法は検証データで得点が上がった場合にのみ採用され、最後は非公開テストで採点されるため、少なくとも設計上は、検証結果への適応と最終評価を分けている。さらにペア比較ではハーネス編集が改善に寄与したとされ、性能向上をモデルの回答生成能力だけに帰属できないことを示す。一方、論文要旨には改善幅や課題ごとの数値、固定予算の具体額が示されておらず、寄与の大きさをこの記述だけから比較することはできない。 フィジカルAIにとって重要なのは、課題群にロボット動作が含まれ、物理的安定性が厳しい判定条件として挙げられている点だ。文章や画像の評価とは異なり、ロボットの出力は動作として成立するかが問われる。論文は、その条件でオープンウェイトモデルが最も遅れたと報告するが、どのロボット、タスク、安定性基準で差が出たかは要旨から分からない。成功・失敗の二値記録がオープンウェイトモデルの改善を妨げたとの報告も、実行結果をどう記録し改善役へ渡すかが、モデルの重み以外の比較要因になり得ることを示している。 次に確認すべきなのは、課題別のスコアと改善幅、モデルの具体名、予算の配分、ロボット動作の判定基準である。これらが示されれば、ハーネス編集の効果が視覚・推論課題と物理動作課題でどう異なるか、また成功・失敗以外のフィードバックがどの程度有効かを検討できる。現段階では、ベンチマークの構成と論文が報告した傾向は把握できるが、実運用での改善量や適用条件までは評価できない。

なぜ重要か

Flex-RSIは、ロボット動作を含む課題で、解法の改善だけでなくプロンプトやツール、制御ループなどハーネスの改訂も評価する。論文が物理的安定性を要する課題でオープンウェイトモデルの遅れを報告したことから、ロボット向けエージェントの比較では、モデルの種類に加えて動作結果の判定方法とフィードバック設計が論点となる。