何が起きたか
arXiv掲載論文「Trajectory-Calibrated Merging of Embodied Policies」は2026年11月19日、ロボットの専門方策を単一方策に統合するTrajectory-Calibrated Regression(TCR)を提案した。LIBEROで4つのπ₀.₅専門方策を統合し、1,200回の評価エピソードで成功率77.83%を得た。論文によると、これはFeatCalを9.50ポイント、RegMeanを24.17ポイント、重みの単純平均を33.00ポイント上回った。
詳細
TCRは、異なるタスク実行段階の専門家ロールアウトと、反復的な行動生成の途中状態から校正入力を集める。統合による表現の変化に対応するため、各ブロックの入力を、それ以前の統合済みブロックを通して再計算し、各専門家のブロック内計算を使って入力を形成する。そのうえで、専門家の線形出力に合うよう統合後の重みを調整する。 2パスの校正では、別々のロールアウトキャッシュを使って統合方策をさらに調整し、凍結した専門方策を教師として保持する。論文は、元の推論グラフを保ち、専門家のルーティングも追加の勾配学習も必要としないとしている。
Key Facts
| 論文はTrajectory-Calibrated Regression(TCR)を提案した。 | [1] |
| LIBEROで4つのπ₀.₅専門方策を統合し、1,200回の評価エピソードで成功率77.83%を得た。 | [1] |
| 成功率はFeatCal、RegMean、重みの単純平均をそれぞれ9.50、24.17、33.00ポイント上回った。 | [1] |
| TCRは元の推論グラフを保ち、専門家のルーティングと追加の勾配学習を必要としない。 | [1] |
本紙の見方
今回の提案の中心は、専門方策を単にパラメーター空間で近づけるのではなく、実行時の軌跡に沿った校正で一つにまとめる点にある。論文は、パラメーターの整列は行動の間接的な代理にとどまり、回帰校正も校正入力に含まれない状態の挙動を保てない場合があると問題を置く。そこでTCRは、タスクの異なる段階から得た専門家ロールアウトに加え、反復的な行動生成の中間状態も校正に使う。行動を出す過程の状態を取り込む設計は、静的な重みの類似性だけで統合の成否を判断しない方法として位置づけられる。 具体的には、統合後の前段ブロックが後段の入力表現を変えるため、各ブロックの入力をすでに統合したブロック経由で再計算する。さらに、専門家のブロック計算を用いて入力を作り、専門家の線形出力に統合重みを合わせる。二段階の校正で別々のロールアウトキャッシュを使い、凍結した専門方策を教師に残す構成も、専門家の機能を失わずに統合するための手順として読める。元の推論グラフを維持し、専門家を切り替えるルーティングや追加の勾配学習を要しないという主張は、統合後の実行方式を複雑化させずに済む可能性を示す。ただし、推論コストや校正に必要なデータ量がどう変わるかは、要旨からは判断できない。 結果はLIBEROにおける4つのπ₀.₅専門方策の統合で、1,200エピソード中の成功率77.83%だった。比較対象との差は、重みの単純平均に対して33.00ポイント、RegMeanに対して24.17ポイント、FeatCalに対して9.50ポイントであり、この評価条件ではTCRが各手法を上回った。ここで示されたのは特定のベンチマークと方策群での比較であり、別のタスク群や実機環境でも同じ差が出ることまでは示していない。今後の検証では、校正ロールアウトの量や種類への依存、タスク数が増えた場合の性能、実機での閉ループ成功率、計算・実行コストを確認する必要がある。要旨には、それらの条件や評価結果は記載されていない。
なぜ重要か
専門方策を複数保持して実行時に選ぶ方式と異なり、論文のTCRは元の推論グラフを保った単一方策への統合を目指し、専門家ルーティングと追加の勾配学習を不要としている。LIBEROでの比較結果はこの方式の有効性を示す一例だが、適用範囲を判断するには、他のタスクや実機での評価が必要となる。
