Amazon系研究チーム、長期視覚言語行動タスク向け強化学習手法「StructRL」を公開

何が起きたか

Amazon Scienceの論文が2026年9月28日に公開され、長期のVision-language-action（VLA）タスクに向けたオンライン強化学習フレームワーク「StructRL」を提案した。StructRLは、検証可能なサブタスクの完了を基に構造化された中間報酬を与える点が特徴である。コードは https://github.com/amazon-science/StructRL で公開されている。

詳細

論文は、単一コマンドから複数の依存した操作を要する長いタスクでは、最終成功時だけに報酬を与える方式では早期失敗と部分的な進捗を区別しにくいと指摘している。StructRLはタスクを検証可能なサブタスクに分解し、前提サブタスクが完了した後にのみ中間報酬を与え、さらに完了の進み具合に応じて報酬を調整する方式である。評価はRoboCasa365とLIBERO-Longで、GR00T-N1.5とpi 0.5を用いて行われ、比較したオンライン強化学習ベースラインを一貫して上回ったとされる。

Key Facts

本紙の見方

StructRLの新規性は、長期VLAタスクに対して「最後に成功したか」だけを見るのではなく、検証可能なサブタスク完了を報酬設計に組み込んだ点にある。これは、単発の把持や短い操作の改善とは異なり、複数段階の依存関係を持つ行動系列を学習対象にしている点で、既存の後処理型の学習改善から一歩進んだ設計だとみられる。 本紙の関連記事である QualcommとAmazon、AIデータセンター向け協業を発表 は、Amazonが計算基盤側でも半導体や光接続を含む協業を進めていることを示していた。今回のStructRLは、その計算資源の拡充とは別に、ロボット側の学習手順をどう詰めるかという課題に向く。つまりAmazonは、データセンターの計算基盤と、実機に近いVLA学習の両面を並行して整える構図にあるように見える。 業界構造への含意としては、ロボット学習の焦点がモデル規模だけでなく、報酬の切り方や中間検証の設計に移っている点が重要である。RoboCasa365とLIBERO-Longでの評価が示すのは、長いタスクでは学習データの量だけでなく、学習信号をどこで与えるかが性能に直結しやすいということだ。これにより、ロボットソフトウェアは単なる方策学習から、検証可能な工程設計へと重心が移る可能性がある。 未確定の論点は、StructRLが実機のどの作業系に広く適用できるか、GR00T-N1.5とpi 0.5以外のモデルでも同様の傾向が出るか、そしてコード公開後に外部研究者がどこまで再現できるかである。論文は評価結果を示しているが、量産導入や商用配備の条件までは述べていない。

なぜ重要か

Amazon Scienceが公開したStructRLは、長い手順を要するロボット操作で、最終報酬だけに頼らず中間の検証結果を学習に使う設計を示した。これは、VLAモデルの改善が単なる大規模化ではなく、タスク分解と報酬設計の工夫に依存することを示唆する。

日本への影響

日本のロボット研究や実装にとっては、長期タスクでの学習をモデル規模だけでなく報酬設計で詰める視点が示された点が参考になる。とくに、複数工程を要する組立・搬送・検査のような作業では、サブタスク検証をどう定義するかが実装上の論点になりうる。