SmoothRLから読む実機RL — 何を学習し、どう実装し、どこで失敗するのか

実機で得た経験からロボットの動作を改善するには、観測、採用された指令、結果を正しく結び付ける必要がある。 AstribotのSmoothRLは、次の動作を計算しながら現在の動作を実行する際に生じる、学習と実行のずれを扱う。 成功率の改善を読むときには、人間介入、事前学習、評価配置という条件も欠かせない。 本稿ではSmoothRLを入り口に、実機RLで何を学習し、どこに実装負担があり、改善をどう確かめるかを整理する。^[1]

実機RLとは、実世界のロボットから行動と結果を集め、報酬として定義した基準を改善する強化学習である。 継続して動かすだけで、望ましい能力が自動的に増えるわけではない。SERLも、アルゴリズムに加えて制御、報酬、リセットを含むソフトウェア群として設計されている。^[3]

経験から何が更新されるのか

部品を穴に合わせる作業なら、カメラ画像や手先位置を観測し、少し動かし、その後の状態と成功・失敗を記録する。 SACなどのoff-policy型の方法は、この経験をバッファに蓄え、過去のデータも繰り返し学習に使う。 Actorは次の行動を決める方策、Criticはその行動から得られる将来の報酬を予測する価値推定器だ。 実機の経験でCriticを学び、その評価を使ってActorを改善する。^[6]

Criticの推定には誤りがある。試していない動作を高く評価すれば、Actorがその誤りを利用する方向に進むおそれがある。 TD3は、複数の価値推定の小さい方を使うことや、方策更新を遅らせることで過大評価を抑える。 したがって、学習中のQ値の上昇は、実機での成功率向上を確認する代わりにはならない。^[7]

模倣学習は人間の行動を教師として学ぶ。 一方、RLでは行動の結果を報酬で評価する。人間が介入したデータを、RLの経験として利用するか、模倣の教師にも使うかは手法による。 HIL-SERLはデモと介入を利用し、SmoothRLは介入行動をBCの目標にも使う。^[4,1]

SmoothRLが扱う「非同期」の意味

非同期には、実行と学習計算を並行させることと、推論と動作を並行させることがある。 SmoothRLが中心に置くのは後者だ。モデルが次の動作列を計算している間も、ロボットは前の指示で動く。 新しい指示に切り替わるため、生成した動作列のすべてが実機に使われるとは限らない。^[1]

ポイントは、実際に結果を生んだ動作に、価値からの学習信号を対応させることだ。 ただし「すべての損失を今回実行した区間だけに限定する」と読むのは正確ではない。 論文には別途、模倣のBC項と動作の滑らかさを促す正則化項がある。^[1]

実装では、タスクに合わせて学習済みのVLAであるπ0.5を固定し、追加した小さなネットワークで動作を補正する。 著者らは、推論が設定時間内に終わる必要があること、補正の能力がベースの表現と補正範囲に制約されることを限界として挙げている。^[1]

成功率と、その数字が示す範囲

Astribotの公式ページは、双腕ロボットAstribot S1で以下の改善を報告している。 表のエピソード数はオンライン学習用に収集した試行の累計である。^[2]

事前デモは、投てきに500件、キャップ装着と開封にそれぞれ1,500件使われている。 オンライン学習中の成功判定には人が関わり、必要に応じて操作に介入する。試行後には初期状態への復帰と場面のリセットも行う。^[1]

論文の評価は各時点につき投てき18回、キャップ装着12回、開封10回で、初期配置の集合は学習時と共通だ。 各タスクの学習曲線も、それぞれ単一の学習実行に由来する。 この結果から、新しい機体や未知の作業配置でも同じ成功率になるとは判断できない。^[1]

学習を回す設備は、報酬とリセットから考える

HIL-SERLは、成功と失敗の画像から報酬分類器を用意し、デモを蓄え、人間介入を伴うオンライン学習へ進む。 LeRobotの手順では人手の報酬判定から始めることもできる。報酬を自動化する前に、成功の定義を確かめられる構成だ。^[4,10]

ここからは、これらの研究を実装へつなぐための本紙の提案である。 最初のタスクは、壊れにくく、成功を外部から判定でき、初期状態へ戻しやすい短い作業を選びたい。 学習器の比較に入る前に、同じ条件で試行を繰り返せるかを確かめる。

報酬判定と製品品質を分ける

画像上で部品が入って見えても、通電していないかもしれない。分類器の成功判定だけを追うと、現場で求める品質とのずれを見落とす。 初期は人の判定でもよいが、評価には外部センサーや独立した検査を組み合わせたい。時間や接触への罰を追加する際は、必要な接触まで避けたり、早く失敗する方が得になったりしないかを確認する。

動作時間に、復旧時間を足す

ロボットを開始姿勢へ戻しても、落ちた部品や開封済みの箱は元に戻らない。 説明用に、動作20秒、リセットと判定40秒、300試行を仮定すると、合計は5時間となる。本紙計算であり、研究の実測時間ではない。 準備や評価を含めればさらに時間が必要だ。アルゴリズムが使う試行数と、実験設備が消費する時間を一緒に測るべきである。

既存の動作のどこを改善するか決める

残差RLは、既存制御が担う動作に、学習した補正を組み合わせる考え方だ。^[8]本紙なら、まず校正、機械的なずれ、座標系を点検し、既存制御や模倣学習で成功に近づける。 そのうえで、位置合わせや接触といった局所的な技能を改善対象にする。対象物の取り違えや作業順序の誤りまで、小さな位置補正で吸収できるとは考えない。

生成した指令、採用した指令、実測状態を残す

SmoothRLから実装へ持ち帰れる重要な論点は、行動と結果を時刻で対応させることだ。 本紙は、次の項目を分けて記録する設計を勧める。後から失敗原因を調べるだけでなく、どの経験を学習へ使うか判断するためでもある。

行動を目標位置と定義するなら、学習上の行動は採用された目標指令であり、実測位置はその結果としての状態になる。 両者を取り違えると、接触や追従誤差を含む経験の意味が変わる。

また、安全フィルターが指令を変更した場合、変更後の値をログに入れるだけでは学習目的の整合まで保証されない。 フィルターを環境の一部とするか、変更後の行動を価値推定の入力にするかで設計が変わる。 人間操作も含め、提案と採用の関係を追えるようにしておく必要がある。

Gymnasiumは、タスクとしての終了をterminated、外部の時間制限などによる打切りをtruncatedとして区別する。 次状態の価値を学習に使うかに影響するためだ。^[9]実機でも、成功・時間切れ・通信断を一律の終了にまとめず、理由を残したい。失敗直後の次状態にリセット後の画像を混ぜる実装も避ける。

どこで失敗するかを、学習曲線の外で測る

学習に使った配置と、性能を判定する配置は分けたい。位置、向き、個体差、照明を段階的に変えれば、どの条件に弱いかを追える。 人が助けて成功した試行は学習に役立つが、自律成功率には含めない。介入時間、良品率、作業時間、安全停止、復旧時間も併記する。

比較する候補は、既存制御、模倣学習、介入データを追加した模倣学習、RLを加えた構成だ。 RL側にだけ多くのデータや人手を使ったなら、その差も記録する。追加コストに見合う改善かを判断するためである。

接触時に振動するなら、制御周期、遅延、座標系、指令の制限を先に調べる。 成功例が全く出ないなら、初期状態を成功に近づけたり、作業を分割したりして、何が学べていないかを切り分ける。 報酬が高くなっても良品率が伸びなければ、報酬の定義と判定器を再確認する。

最初に完成させたいのは、改善を検証できるループ

本紙が初期検証で勧めるのは、台車、リフト、視点を固定し、片腕の短い作業から始める構成だ。 報酬、介入、リセット、時刻付きログが正しく働くことを確認してから、必要な自由度を増やす。 双腕では片方が保持して他方が作業する段階を設け、その後に移動やVLAとの連携を検討できる。

学習した候補と本番に配るモデルは、評価を挟んで管理したい。 横で新方策の出力を計算するシャドー実行は、推論時間や異常指令の点検には使えるが、実行していない行動の物理的結果は分からない。 管理された実機試験で改善を確認し、性能が低下した際に戻せる版を残す。

SmoothRLは、推論と動作が重なる条件でも、実際の経験から方策を改善するための設計を示した。 現場への応用では、その学習手法を支える計測、判定、復旧、評価まで含めた構成が問われる。 一つの作業で改善を再現できる基盤ができれば、モデルやハンドを変更した際にも、その効果を同じ尺度で確かめられる。

関連コラム：VLAを工場で使うための条件