何が起きたか

I-BFMのGitHubリポジトリーは、H200向け学習ソース、選定済みの166.560Mステップ・チェックポイント、Carry Box、Push Box、Kick Boxの実行設定を公開している。3タスクのスクリプトは同一チェックポイントを使用する。学習は8基のH200 GPUで実行する手順が示され、166.560Mステップ時点のリプレイバッファは約210 GiB、8つのシャードで提供される。

詳細

リポジトリーには学習コードとタスク実行時の依存ファイルが含まれ、評価対象の2,719モーション全体で平均EMDが最小となるポリシーを選ぶ仕組みが記載されている。公開されるポリシーのコピーには重みと設定が含まれ、オプティマイザーやリプレイデータは含まれない。通常の学習完了時には、リプレイバッファが最終のローリングチェックポイントに一度書き込まれる。 リプレイバッファはHugging Face上で8つのrank別シャードとして提供される。各シャードはディスク上で約28 GBで、読み込み時には選んだシャード全体をメモリーに展開する。再開時に同じステップのリプレイバッファがない場合、途切れずに実行した場合とは異なる結果になると説明している。環境要件はLinux、Python 3.10、uv、Git LFS、MuJoCo。学習ソースのライセンスは上流のCC BY-NC 4.0を引き継ぐ。

Key Facts

リポジトリーはH200向け学習ソース、166.560Mステップのチェックポイント、Carry Box、Push Box、Kick Boxの実行設定を提供する。[1]
学習実行手順は8基のH200 GPUを使用する。[1]
最良ポリシーは2,719の評価モーション全体で平均EMDが最小のものとして選ばれる。[1]
166.560Mステップのリプレイバッファは8つのシャード、合計約210 GiBで提供される。[1]
学習ソースは上流のCC BY-NC 4.0ライセンスを引き継ぐ。[1]

本紙の見方

この公開物の中心は、完成済みポリシーの配布だけでなく、学習コード、選定チェックポイント、タスク実行設定、リプレイバッファを同じプロジェクト内で扱える点にある。3種類のタスクが同じチェックポイントを使う構成は、個別タスクごとに異なる重みを配る形ではなく、共通の学習結果を複数の操作設定から試す設計を示す。ただし、リポジトリーの記述だけから、実機での性能や各タスク間の汎化を確認したとはいえない。 再現性の扱いには二つの側面がある。学習ソース、入力ファイル、シード、学習パラメーターを保持し、選定基準も2,719モーション上の平均EMDとして記しているため、実行条件とポリシー選択を追跡する手掛かりはある。一方、再開時に同一ステップのリプレイバッファがなければ、連続実行と異なる結果になると明記されている。したがって、コードとチェックポイントを取得できることと、学習過程を完全に同一条件で再現できることは同義ではない。 データ公開の規模も運用上の条件を左右する。リプレイバッファは合計約210 GiBで8分割され、読み込み時には選択したシャード全体をメモリーに展開する。約28 GBというシャード単位の容量は、全データを扱わずに評価する場合にも、利用環境側のストレージやメモリーを要することを示す。8基のH200を使う学習手順と合わせると、公開コードの利用には相応の計算・データ環境が必要となる。 今後の確認点は、評価モーション上の平均EMDと、実際のタスク実行時の挙動がどう対応するかである。公開情報はポリシーの選定基準や対話タスクの実行方法を示すが、物理ロボットでの検証結果、実行時の安全性、各タスクの成功率は記載していない。したがって、このリポジトリーが示す再現可能性の範囲と、実機適用に必要な追加検証の範囲は分けて評価する必要がある。

なぜ重要か

学習コードだけでなく、2,719モーションを使った選定基準と166.560Mステップのリプレイバッファも提供されるため、研究者はポリシーの実行だけでなく学習・評価の条件を追いやすい。一方、バッファは約210 GiBで、読み込みにはシャード全体のメモリー展開が必要とされるため、利用にはデータ保管・計算環境の準備が伴う。