日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.04771

実演からのタスク・動作計画をハイブリッドフローマッチングで学習

Learning Task and Motion Plans from Real Demonstrations with Hybrid Flow Matching

シェア:XThreadsFacebookLINEはてブBluesky

少数の実演から離散フローマッチングで記号計画を、連続フローマッチングで動作軌道を同時生成し、閉ループで実行する移動マニピュレーション手法を提案。

詳しい要約

1. どんなもの?

- 実演からタスク計画と動作を同時に生成するHybrid Flow Matchingプランナーを提案。 - 単一ネットワークで、masked discrete flow matchingによる記号計画と、continuous flow matchingによる動作軌道を生成。 - 長期horizonの移動マニピュレーションを対象とし、閉ループ実行を目指す。 - 実機の移動マニピュレータで検証。

2. 先行研究と比べてどこがすごい?

- 従来の生成的プランナーは、固定ベースアームの数千のスクリプト実演に依存し、開ループ実行だった。 - 本研究は、より少ない実演から学習し、閉ループで実行することを目指す。 - 記号計画と動作を同時に提供しつつ、motion-only flow matchingポリシーと同等のタスク完了率を達成。 - 以前のhybrid diffusion定式化よりもタスク完了と計画妥当性で優れる。

3. 技術・手法の肝は?

- ハイブリッドフローマッチング:離散計画にはmasked discrete flow matching、連続動作にはcontinuous flow matchingを使用。 - データの2つの性質を活用: - 任意の中間アクションから再開した実演も実演とみなし、訓練サンプルを増やし、各アクション後の再計画を可能にする。 - 同種のオブジェクトは交換可能であり、1つのゴールの実演を全ての順列ゴールの実演に変換。 - 基本実装に加え、離散計画の訓練・生成スキームを改善。

4. どうやって有効だと検証した?

- 基本実装は未見シーンで68%の有効な計画を生成。 - 訓練・生成スキームの改善で76%に向上。 - 各アクション後の再計画により、キネマティックシミュレーションでのタスク完了率が40%から53%に上昇。 - 実機の移動マニピュレータで検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている先行研究:hybrid diffusion formulations、motion-only flow matching policies。 - 関連手法:masked discrete flow matching、continuous flow matching。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zuleika Redondo Garcia, Andreu Matoses Gimenez, Javier Alonso-Mora

分類: cs.RO, cs.LG

原文アブストラクト

Long-horizon mobile manipulation requires a task plan and the motion that executes it. Generative planners trained on demonstration produce both in one pass, requiring neither a symbolic domain nor search. To date, however, they have relied on thousands of scripted demonstrations of fixed-base arms and executed open loop. This paper presents a hybrid flow matching planner: a single network generates the symbolic plan with masked discrete flow matching and the motion trajectory with continuous flow matching. Unlike prior generative planners, we aim to learn from a much smaller set of demonstrations and to execute the plan in closed loop. Two properties of the data compensate for the small dataset. A demonstration resumed from any of its intermediate actions is itself a demonstration, which multiplies the training samples and enables replanning after every action. Objects of the same kind are interchangeable, which turns demonstrations of one goal into demonstrations of every permuted goal. Our base implementation produces valid plans on 68% of held-out scenes; a training and generation scheme for the discrete plan raises this to 76%, and replanning after every action raises the task completion rate from 40% to 53% in a kinematic simulation. The planner matches the task completion rate of motion-only flow matching policies while additionally providing the symbolic plan, and it outperforms previous hybrid diffusion formulations on both task completion and plan validity. We validate the planner on a real mobile manipulator. Videos and project page: https://andreumatoses.github.io/research/hybrid-flow-planning

関連論文

PR本紙発行元 EmplifAI