制御限界内での再タイミングによる高速模倣学習

- 模倣学習（imitation）ポリシーの実行速度を高速化するための手法を提案する研究。 - 実演（demonstration）を再タイミング（re-timing）して速くすると、2〜3倍で成功が崩壊する現象に着目。 - 崩壊の原因を『低レベル controller の制御周期あたり変位上限』という機械的要因に帰着させ、それを回避するマージ規則を提案。 - シミュレーションの robomimic 4タスクと humanoid whole-body tracker で検証。

- 従来法は崩壊を distribution shift とみなし、高速化可能な区間を細かく選ぶ規則で対処していた。 - 本研究は区間選択では解決できない機械的原因（controller limit 超過）を特定した点が新しい。 - 提案する exceed share という指標が、再学習ポリシーの崩壊箇所と対応することを示す。 - 単一パラメータの貪欲マージ規則で、区間選択の細かい規則より単純かつ有効であることを示す。

- 低レベル controller は制御周期あたり有界の変位しか実現できない点に着目。 - 連続コマンドをマージすると和が上限を超え、plant が実現できない遷移を約束する訓練ペアが生じる。 - そのようなペアの割合を exceed share と呼び、崩壊位置の指標とする。 - 規則は『和が実現可能な間は貪欲にマージする』という単一パラメータ（merge cap）のもの。 - 全コマンドが構成上実現可能となり、実演の幾何（geometry）を保ち、余裕（slack）のある箇所だけ高速化される。

- シミュレーションの robomimic 4タスクで、セルあたり 200 held-out seeds を用いて評価。 - merge cap 2 で、4タスクすべてで frozen policy の成功率以上、Square では 14 ポイント向上、成功エピソードも短縮。 - 同一テンポでは uniform re-timing が Can と ToolHang で 9・16 ポイント低下、他2つはノイズ範囲、最難タスクは 2x でゼロ。 - shuffled・entropy-guided・speed-conditioned の代替配置は4タスク中3つで提案規則に劣る。 - シミュレーション humanoid whole-body tracker で 429 参照モーションを velocity envelope 内で再タイミングし、2.3x で 71% 成功（uniform time scaling の 2x で 51%）。

- exceed share だけでは説明できない配置（placement）の差があり、マージ位置の影響が残る。 - 4タスク目ではタスクが吸収できるテンポにおいて全配置が同一帯域に収まる。 - 実機検証や実ロボットへの適用は要旨からは不明。 - controller limit の仮定が成り立つ範囲や、merge cap の一般則は要旨からは不明。

- robomimic ベンチマーク（本論文で使用）。 - distribution shift を区間選択で扱う先行の再タイミング手法（要旨で対比）。 - uniform time scaling（比較対象）。 - humanoid whole-body tracker 関連の模倣学習研究。 - 同分野の定番として imitation learning / behavior cloning の基礎研究。