日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2609.24170

予想外のロボットポリシー：GPT-6 AstraのRoboDojoとその先における初期評価

An Unexpected Robot Policy: Early Evaluations of GPT-6 Astra on RoboDojo and Beyond

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルをロボット操作のポリシーとして直接使えるかを検証し、GPT-6 Astraが公開ポリシーを上回る成功率を示す一方、精度や動的制御を要するタスクは苦手であることを明らかにした。

詳しい要約

1. どんなもの？

- 大規模言語モデル(LLM)をロボットマニピュレーションのポリシーとしてタスク特化のfinetuningなしで使えるかを問う設定『LLM as policy』を検討 - 3つのLLM(GPT-6 Astra, GPT-5.5, DeepSeek-Flash)を42のRoboDojoタスクで評価し、40の公開ポリシーとスコア比較 - Astraは2,100試行で平均成功率22.48%、Score 28.97を達成し、公開エントリを上回る - 一方GPT-5.5とDeepSeek-Flashは同じ後処理で平均成功率0.88%と1.92%にとどまる - Astraは意味理解を要するタスクに強いが、精密制御・動的制御・複雑な両手協調を要するタスクは苦手という極端な能力プロファイルを示す

2. 先行研究と比べてどこがすごい？

- 従来のEmbodied AIはSystem 1(高頻度で行動生成するpretrained policy)とSystem 2(視覚対応言語モデルによる高レベル計画)に分けるのが一般的 - 本研究はLLMをタスク特化finetuningなしで直接ポリシーとして使う点が新しい - Astraは40の公開ポリシーを上回り、公開エントリ中で最高スコアを記録 - 同じ後処理でもGPT-5.5やDeepSeek-Flashは成功率が極端に低く、LLM間の性能差が大きいことを示す - 汎用マニピュレーションモデルの可能性を示す初期証拠を提供

3. 技術・手法の肝は？

- LLMをポリシーとして用いる『LLM as policy』設定を採用 - タスク特化のfinetuningを行わず、LLMに直接行動生成をさせる - 評価プロトコルはAstraとGPT-5.5が公式の1タスクあたり50エピソード、DeepSeek-Flashは1タスクあたり10エピソード - 後処理は3モデルで同一 - in-context実験としてone-shotデモンストレーションの効果を検証 - 摂動下でのエピソード内補正を示すinteraction traceを選択的に提示

4. どうやって有効だと検証した？

- RoboDojoの全42タスクで3つのLLMを評価し、40の公開ポリシーとスコア比較 - Astraは2,100試行で平均成功率22.48%、Score 28.97を達成し、公開エントリを上回る - GPT-5.5とDeepSeek-Flashは同じ後処理で平均成功率0.88%と1.92%にとどまる - in-context実験ではone-shotデモンストレーションによる集計上の利益は見られなかった - 選択されたinteraction traceで摂動下のエピソード内補正を確認

5. 議論はある？

- Astraは意味理解を要するタスクには汎化するが、精密制御・動的制御・複雑な両手協調を要するタスクでは性能が低い - 評価したLLM間でマニピュレーション性能に大きな差がある - Astraは汎用マニピュレーションモデルの可能性を示すが、信頼できる精密制御と動的制御は依然として制限 - one-shotデモンストレーションの集計上の利益は確認されなかった - 評価設定における限界が議論されている

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: RoboDojo, GPT-6 Astra, GPT-5.5, DeepSeek-Flash, 40の公開ポリシー - 関連手法: System 1とSystem 2の枠組み, LLM as policy, in-context learning, one-shot demonstrations - 同分野の定番: ロボットマニピュレーションのベンチマーク, 視覚対応言語モデルによる計画, タスク特化finetuning

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenbo Zhang, Kaixuan Wang, Yutao Ouyang, Xiaoyu Huang, Liyang Li, Kailun Su, Weiyang Jin, Wenhao Chai, Haotian Liang, Zhiyang Dou, Yue Chen, Tianxing Chen

分類: cs.CV

原文アブストラクト

Embodied AI systems are often organized into System 1 and System 2. System 1 is typically a pretrained policy that generates actions at high frequency, whereas System 2 is often instantiated as a vision-enabled language model for high-level planning. We ask whether a large language model (LLM) can act as the policy for robot manipulation without task-specific finetuning. We call this setting LLM as policy. We evaluate three LLMs on all 42 RoboDojo tasks and compare their scores with 40 public policies. Astra and GPT-5.5 use the official 50-episode-per-task protocol; DeepSeek-Flash uses 10 episodes per task. GPT-6 Astra achieves 22.48% average success rate and 28.97 Score over 2,100 trials, ranking above every public entry. Yet GPT-5.5 and DeepSeek-Flash reach only 0.88% and 1.92% average success rate with the same post-processing. We find that Astra exhibits a sharply polarized capability profile. It generalizes well to tasks that require semantic understanding but not high-precision control. In contrast, it performs poorly on tasks that require precision, dynamic control, or complex bimanual coordination. In-context experiments show no aggregate benefit from one-shot demonstrations, while selected interaction traces show within-episode corrections under perturbations. Overall, the evaluated LLMs vary substantially in manipulation performance. Astra stands out and provides initial evidence for the potential of a general-purpose manipulation model, although reliable precision and dynamic control remain limitations in the evaluated setting.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI