Physical RSIの能力源泉を観察的に分析した論文をarXivが公開

何が起きたか

arXivは2026年10月19日、論文「Where is Physical RSI capability from? An Observational Scaling Law of LLM-as-policy」を公開した。論文は、物理的なrecursive self-improvementの仕組みとスケーリング、一般化を系統的に調べたものである。VLMを18の操作タスクで、相互作用予算を固定したまま評価し、改善の性質を観察した。 論文では、Physical RSIを測るための指標「PhysRSI-eval」を導入し、First-Attempt Performance、Efficiency、Success、Budget、Improvement from failureの5軸で評価した。さらに、公共ベンチマークの平均値が近いシステムでも5軸指標で差が出ること、また高いスコアが初期段階や効率的な改善を必ずしも伴わないことを示した。

詳細

論文は、2つの観点から観察的なスケーリングを扱っている。1つは、公開されている能力からVLMエージェントの相対性能を予測すること、もう1つは、初期の物理フィードバックから後の進展を予測することである。これにより、エージェントがどれだけ速く、どこまで改善できるかを問う構成になっている。 加えて、workspace interventionsを行い、その後に何が改善として残るかを分析した。結果として、historyを取り除くと後半ラウンドの成功が低下し、固定されたworkspaceは未見のレイアウトでも有用であり、3つのクロスタスク事例ではより早く成功に到達したとされる。

Key Facts

本紙の見方

この論文の新しさは、Physical RSIを「できるかどうか」の議論ではなく、改善の源泉を5軸で分解して観察した点にある。特に、First-Attempt Performance、Efficiency、Success、Budget、Improvement from failureを分けたことで、見かけの平均性能が近いVLMでも、初動の強さ、予算効率、失敗後の改善力が別々に振る舞うことを示そうとしている。ここで重要なのは、単一の総合スコアでは改善メカニズムを取り違える可能性があるという点である。 本紙の関連記事はないため、過去報道との接続はできない。ただし論文の構造は、公開ベンチマーク平均からは見えない差分を、物理相互作用に限定した評価で拾い上げる設計になっている。これは、言語モデルやVLMの能力を「静的なベンチマーク」ではなく、「試行を重ねる過程」で測り直す方向と読める。17? ではなく18の操作タスクを固定予算で回しているため、性能差は単純な成功率だけでなく、失敗から何を引き継げるか、どこで改善が止まるかに現れやすい。 業界構造への含意としては、実世界エージェントの評価軸が、モデル単体の推論性能から、相互作用履歴や環境適応を含む実行性能へ広がる点が大きい。workspace interventionsの結果は、履歴の保持や再利用が後半の成功に効く一方で、固定化した環境でも未知レイアウトに転用できる余地があることを示している。つまり、学習データだけでなく、作業履歴や環境状態の設計が性能差を左右する可能性がある。 未確定の論点は、PhysRSI-evalが他のロボティクス評価や実運用環境でどこまで再現されるか、18タスク以外で同じ傾向が出るか、そして「Physical Barrel Hypothesis」がどの能力をどの改善段階で制約するのかである。論文は観察的な相関を与えているが、能力源泉の因果的な切り分けは今後の検証が焦点になる。

なぜ重要か

公開ベンチマークの平均値が近くても、5軸で見ると改善の型が異なると論文は示している。これは、物理環境で動くVLMやエージェントを評価する際、最終成功率だけでは不十分で、失敗後の改善や予算効率まで含めて見る必要があることを意味する。

日本への影響

日本のロボティクスや実世界AIの研究開発では、モデルの総合点よりも、失敗後の改善、履歴の再利用、未見レイアウトへの転用といった要素をどう評価系に組み込むかが論点になりうる。論文が示した5軸評価は、操作系の実験設計やベンチマーク設計を見直す際の材料になる。