日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2610.29117

修正を吸収する学習:視覚ベース挿入のための批評家重み付き残差フロー

Learning to Absorb Corrections: Critic-Weighted Residual Flow for Vision-Based Insertion

シェア:XThreadsFacebookLINEはてブBluesky

視覚ベースの挿入タスク向けに、適応型ACTと条件付き残差フローポリシーを組み合わせたオンライン学習フレームワークACT-Flowを提案し、批評家による候補評価と成功行動の吸収で成功率を向上させた。

詳しい要約

1. どんなもの?

- 視覚ベースの挿入タスク(電源プラグ・USB・鍵・ケーブル配線・針通し)を対象としたオンライン学習フレームワーク ACT--Flow を提案する研究。 - adaptive Action Chunking Transformer (ACT) と conditional residual flow policy を組み合わせ、実演から得た挙動を保持しつつ位置合わせ誤差を修正する。 - anchor-guided warmup の後、成功した実行行動を behavioral cloning で ACT に吸収し、更新された prior に対して residual 目標を再計算する。 - chunk-level critic が成功・失敗の相互作用から学習し、生成された residual 候補の重み付けと flow matching に用いられる。

2. 先行研究と比べてどこがすごい?

- 単一の prior 方策に頼らず、ACT による挙動吸収と residual flow による修正を組み合わせる点が特徴。 - chunk-level critic を導入し、成功・失敗の両方の相互作用から最終合成行動を評価して residual 候補を重み付けする。 - 20,000 post-initialization interaction steps 時点で5タスク平均成功率66%を達成し、最強の baseline を18ポイント上回ったと報告。 - residual を無効化した同一チェックポイント比較で ACT の平均成功率が16%から76%へ向上したと報告。

3. 技術・手法の肝は?

- adaptive Action Chunking Transformer (ACT) と conditional residual flow policy を結合したオンライン学習フレームワーク。 - anchor-guided warmup 後、成功した実行行動を behavioral cloning で ACT に吸収し、更新された prior を基準に residual 目標を再計算。 - chunk-level critic が成功・失敗の相互作用から学習し、最終的に合成された行動を評価。その推定値で residual 候補を重み付けして flow matching を行う。 - 成功した実実行からの supervision も併用。候補スコアリングは訓練時のみで、展開時は RGB 観測を用い action chunk ごとに residual を1つサンプルする。

4. どうやって有効だと検証した?

- power-plug、USB、key insertion、cable routing、needle threading の5タスクで評価。 - 20,000 post-initialization interaction steps 時点で平均成功率66%、最強 baseline を18ポイント上回ると報告。 - residual を無効化した同一チェックポイント比較で ACT の平均成功率が16%から76%に向上したと報告。 - コンポーネント ablation により behavior absorption、value weighting、successful-action supervision の相補的役割を支持する結果を得た。

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗事例、計算コスト、critic の誤推定への感度などは記述されていない)。 - 要旨では behavior absorption、value weighting、successful-action supervision の相補的役割が ablation で支持されたと述べられている。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な先行研究名は不明。 - 関連手法として、adaptive Action Chunking Transformer (ACT)、conditional residual flow policy、flow matching、behavioral cloning、chunk-level critic が挙げられる。 - 同分野の定番として vision-based robotic insertion や imitation learning 関連の研究を次に読む候補として検討できる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiqing Yuan, Zhi Li, Jinrong Yang, Mingshan Sun, Mei Yu Zhi, Yong Zhao, Liangliang Ren, Hui Cheng

分類: cs.RO

原文アブストラクト

Vision-based insertion requires correcting alignment errors while retaining useful behavior learned from demonstrations. We present ACT--Flow, an online learning framework that couples an adaptive Action Chunking Transformer (ACT) with a conditional residual flow policy. Following anchor-guided warmup, ACT absorbs successful executed actions through behavioral cloning, while residual targets are recomputed relative to the updated prior. A chunk-level critic learns from successful and failed interactions and evaluates final composed actions. Its estimates weight generated residual candidates for flow matching, complemented by supervision from successful real executions. Candidate scoring is confined to training; deployment uses RGB observations and samples one residual per action chunk. We evaluate the framework on power-plug, USB, and key insertion, together with cable routing and needle threading. Results show a five-task mean success rate of 66% at 20,000 post-initialization interaction steps, exceeding the strongest baseline by 18 percentage points at this checkpoint. Evaluations at matched checkpoints with the residual disabled show ACT's mean success increasing from 16% to 76%. Component ablations further support the complementary roles of behavior absorption, value weighting, and successful-action supervision.

関連論文

PR本紙発行元 EmplifAI