フロンティアLLMがロボティクスへ参入：RoboColiseumによるクロスモデル評価

- 本論文は、frontier LLMs（GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5、Gemini 4 Argon）のロボット制御・embodied 能力を多次元で比較評価した研究。 - 評価環境は RoboColiseum で、Instruction Following、Spatial Reasoning、General Manipulation、Robustness の4トラックを設定。 - Agent2Act と呼ぶ control harness で各モデルを共通の observation・action execution・feedback インタフェースに統合。 - 共通タスク設定とスコア基準の下でモデル間の能力プロファイルと限界を明らかにすることを目的とする。

- 先行研究は multimodal LLM のロボット制御可能性を探ってきたが、モデル・タスク・実行設定を横断した embodied 能力の特徴づけは不十分だった。 - 本研究は4モデルを同一の RoboColiseum 環境・共通スコア基準で比較し、多次元のトラック別評価を行う点が異なる。 - モデル単体ではなく harness 設計の影響も比較対象に含め、タスク成功率・planning cost・execution time への効果を検討。 - Astra の case study で whole-body coordination、異なる robot embodiments 間の manipulation、precision/dexterous-hand manipulation、real-robot タスクまで扱う。

- Agent2Act が評価の肝で、shared observation、action execution、feedback の各インタフェースを通じて4つの LLM を RoboColiseum に接続する control harness。 - 評価は Instruction Following、Spatial Reasoning、General Manipulation、Robustness の4トラック構成。 - 共通タスク設定・スコア基準でモデル横断比較を行い、能力プロファイルを抽出。 - 選択タスクでは harness の component 比較を実施し、タスク成功・planning cost・execution time への影響を分析。 - Astra については whole-body coordination や dexterous-hand manipulation などの case study を追加。

- RoboColiseum 上で4モデル（GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5、Gemini 4 Argon）を Agent2Act 経由で評価。 - 全モデルで一貫したプロファイルを確認：instruction-following スコアは高く3モデルはほぼ perfect、spatial reasoning は強く、general manipulation は他3トラックより低い。 - 評価設定内で Astra は instruction following と robustness で首位、Opus は spatial reasoning、general manipulation、overall performance で首位。 - 選択タスクの component 比較で harness 設計がタスク成功・planning cost・execution time に影響することを示す。 - Astra の case study で whole-body coordination、embodiment 横断 manipu…

- モデル間に補完的な強みがある一方、タスク理解と信頼できる物理実行の間に持続的なギャップがあると示唆。 - general manipulation が他トラックより低いことは、embodied 実行の難しさを示す結果として議論される。 - harness 設計がタスク成功・planning cost・execution time に影響するため、モデル比較には実行設定の統制が重要という論点。 - Astra の case study から whole-body coordination や dexterous-hand manipulation、real-robot 設定での限界に関する知見が得られる。 - 具体的な議論の詳細や制約は要旨からは不明。

- 本論文が比較対象とした frontier LLMs：GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5、Gemini 4 Argon の各モデル報告。 - 評価基盤である RoboColiseum と control harness の Agent2Act に関する文献。 - multimodal large language models for robot control の先行研究（要旨では個別名は明示されず）。 - 関連する embodied 評価・manipulation ベンチマークとして、一般名では robot manipulation benchmarks や embodied AI evaluation suites を次に参照すべき。