LIBERO-10で主要AIモデル6種を比較、GPT-6 Astraが成功率44%

何が起きたか

arXivは2026年10月21日、LIBERO-10のロボット操作課題において、フロンティアAIモデル6種を比較した研究報告「From Reasoning to Action: Benchmarking Frontier AI Models on LIBERO-10 Robot Manipulation Tasks」を公開した。評価は3段階の推論努力レベルで行われ、合計18構成・1,800回の評価エピソードを実施した。結果ではGPT-6 Astraが成功率44%で最も高く、Gemini-4 Argonが43%で続いた。

詳細

報告では、モデルが視覚観測、ロボットの固有感覚、構造化ツール呼び出しを通じてロボットを直接制御する閉ループの操作枠組みを提示した。制御は主として、目標となるエンドエフェクタ姿勢とグリッパー指令の指定で行い、タスク特化の追加学習や事前学習済みの操作技能は用いないとしている。 評価対象はGPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna、Claude Opus 5、Claude Opus 5.5、Gemini-4 Argonの6モデルである。報告は、推論努力を高めると一般に性能が改善する一方、その効果はモデルごとに異なり、推論コストの増加も伴うとしている。

Key Facts

本紙の見方

この報告の新しさは、フロンティアAIモデルをロボット操作に使えるかどうかを、印象論ではなくLIBERO-10上で同一条件にそろえて測った点にある。対象は6モデル、3段階の推論努力、18構成、1,800エピソードで、比較の土台自体が明示されている。一方で、目標エンドエフェクタ姿勢とグリッパー指令を中心に制御する閉ループ枠組みは、汎用モデルを実機操作へ接続するという既定路線の延長でもある。つまり、モデルの「会話能力」や「推論能力」を、そのまま物理行動の信頼性に置き換えられるかを確かめる試験になっている。 結果面では、GPT-6 Astraの44%とGemini-4 Argonの43%という上位2モデルの差は小さいが、報告が強調するのは順位そのものより、推論努力の増加が一般に性能向上につながる一方で、効果がモデルごとに異なる点である。これは、ロボット操作において高性能な推論モデルを一つ選べば済むという単純な構図ではなく、推論設定とモデル固有の挙動を同時に詰める必要があることを示しているとみられる。特に、物体配置では比較的良好でも、精密な空間配置や複雑な多段階相互作用で苦戦したという記述は、言語推論と実空間操作の間にまだ埋まっていないギャップがあることを示す。 本紙の関連記事はないため、過去報道との連続性は論じない。業界構造への含意としては、フロンティアモデルの評価軸が単なるベンチマーク精度から、推論コスト込みの物理実行性能へ移る可能性がある点が重要だ。研究者やロボット開発側にとっては、モデル選定だけでなく、推論努力レベル、閉ループ制御、タスク種類の組み合わせが設計変数になる。未確定の論点としては、LIBERO-10以外の環境で同じ傾向が出るか、成功率44%前後の性能がどのタスク群で稼いだのか、追加推論コストが実運用に耐える水準かを確認する必要がある。

なぜ重要か

報告によると、同じLIBERO-10でもモデルと推論設定で結果が分かれ、推論コストを伴う形で性能が変動する。これは、ロボット操作でフロンティアAIを使う際に、単なるモデルの強さだけでなく、実行時の計算負荷まで含めた設計が必要になることを示している。

日本への影響

日本のロボット研究やシステム統合では、モデル選定に加えて、閉ループ制御、エンドエフェクタ姿勢、グリッパー指令のような実機側の実装が重要になるとみられる。特に、精密な空間配置や多段階操作での弱さが示された以上、産業用途ではロボット本体の性能だけでなく、制御系と評価手順の詰めが焦点になる。