KnowDemo: 人間動画からの知識誘導型ロボット実演生成

- 人間の動画からロボットのマニピュレーション用デモンストレーションを生成するフレームワーク「KnowDemo」を提案。 - 対象ワークスペース向けに、多様なロボットデモを生成することを目的とする。 - 人間動画から構造化されたmanipulation knowledgeを抽出し、それを用いてデモ生成を行う。 - 生成したデモをシミュレーションで検証し、さらに方策学習に利用する。

- 従来のmotion-reference adaptation中心の手法は、接触戦略やサブタスク順序が実演に引きずられ、行動の多様性が制限される。 - また、タスク要件やシーン関係の理解不足により、無効な候補が生成され、デモ生成効率が低下する問題があった。 - KnowDemoは、タスク要件と実演固有の選択を区別する知識抽出・推論モジュールにより、これらの制限を克服する。 - 結果として、参照のみの構成を超える検証済み実行モードを実現し、タスク誘導型grasp samplingにより候補計画の成功率を改善する。

- VLM（vision-language model）に基づく知識抽出・推論モジュールを開発。 - 物体・行動記述を、推論されたタスク条件、実演参照、許容される実行バリエーションと関連付ける。 - 抽出した知識を対象シーンのエンティティや幾何情報と照合し、候補生成とスクリーニングを誘導。 - その後、motion planningとシミュレーションを実施。 - 生成されるデモは、代替接触戦略や有効なサブタスク順序を通じてマルチモーダルな行動を示し、構造化された実行ラベルを持つ。

- 参照のみの構成を超える追加の検証済み実行モードが得られることを実験で示す。 - タスク誘導型grasp samplingにより、候補計画の成功率が向上することを確認。 - 生成データを方策学習に用いる検証として、事前学習済み$π_{0.5}$モデルをシミュレーションデータでfine-tune。 - 3つのタスクでsim-to-real転移を達成。

- 要旨からは、手法の限界や失敗事例、計算コスト、VLMの誤りへの対処などに関する議論は明示されていない。 - 実験結果の詳細な分析や、他のベースラインとの比較に関する議論も要旨からは不明。

- 要旨で参照されている先行研究：motion-reference adaptationに基づく人間動画からのロボットデモ生成手法。 - 比較対象として明示されている構成：reference-only configuration。 - 方策学習のベースモデル：$π_{0.5}$。 - 関連する一般手法：vision-language model (VLM)、motion planning、sim-to-real transfer。