ManiSkillFormer: タスク条件付き幾何契約によるデモンストレーション不要の構成的マニピュレーション

- 実演なし・合成的なロボット操作のための neuro-symbolic フレームワーク ManiSkillFormer を提案。 - タスク条件付き geometric contracts を導入し、知覚と行動のインターフェースを明示的に構造化。 - 各操作 skill は object keypoints や surface normals などの意味的幾何プリミティブを宣言。 - LLM agents が contracts と motion templates を生成し、skill library に保存。 - Galaxea R1-Lite dual-arm robot で評価。

- 従来の end-to-end visuomotor policies と異なり、実演なしで操作を学習。 - 物体ごとの policy fine-tuning や追加の robot demonstrations を不要にする。 - 知覚と行動の間を geometric contracts で明示的に構造化する点が新しい。 - 合成性と再利用性を実現し、複数物体・タスクにまたがる操作を可能にする。 - 評価した baselines や ablated pipelines より高い平均成功率を達成。

- タスク条件付き geometric contracts が知覚モジュールを導き、観測からタスク関連の 3D primitives を接地。 - 人間定義の skill 構造に基づき、LLM agents が contracts と motion templates を生成。 - 接地された primitives を用いて、skill library 内の再利用可能な motion templates をインスタンス化。 - これにより、物体やタスクをまたぐ合成可能で再利用可能な操作を実現。 - 詳細なアルゴリズムは要旨からは不明。

- Galaxea R1-Lite dual-arm robot で 3 設定を評価。 - zero-shot pick-and-place: 8 物体カテゴリ、30 インスタンスで 88.24% の成功率。 - functional manipulation: unscrewing, pouring, pressing, folding で平均 75.00% の成功率。 - long-horizon tasks: 3 タスクで 50–80% の完了率。 - 評価した baselines と 2 つの ablated pipelines より高い平均成功率を達成。

- 実演なし・合成可能・再利用可能な操作が、物体ごとの fine-tuning や追加実演なしで可能であることを示す。 - 限界や失敗事例、計算コスト、スケーラビリティに関する議論は要旨からは不明。 - LLM agents の生成品質や geometric contracts の一般性に関する議論も要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として end-to-end visuomotor policies、neuro-symbolic manipulation、LLM-based task planning、skill library を用いた manipulation が挙げられる。 - 具体的な論文名は要旨からは不明。