表現ガイドによるロボットマニピュレーション用実行可能プログラムの生成と統合

- VLM code generation を用いてロボットマニピュレーションシステムを自動構築するフレームワーク RIVET を提案。 - 共有の object-centric representation を中心に、知覚・計画・制御を統合する。 - 対象タスクは cube stacking、tangram rearrangement、3D assembly。 - シミュレーションと実機で評価し、実世界で 83% の成功率を達成。

- 従来の VLM code generation では、独立に生成されたコンポーネントが互換性のない幾何・タスク情報で動作する問題があった。 - RIVET は共有表現を介して生成プログラムを統合し、この不整合を解消する。 - 一度生成したプログラムを未知の開始・目標配置に再利用でき、コード再生成が不要。 - 異なる幾何・関係・順序要件のタスクに共通フレームワークを適応可能。

- 共有表現は per-object 6D poses と relation graph を組み合わせる。 - 6D poses は action grounding に必要な metric 情報を保持。 - relation graph は planning に必要なタスクレベル構造を提供。 - この表現に導かれ、VLM が知覚・レンダリング・関係推論・計画の協調プログラムを生成。 - 各プログラムはタスク固有計算と利用可能なパッケージを組み合わせる。

- シミュレーションと実機で cube stacking、tangram rearrangement、3D assembly を評価。 - オフライン生成したシステムを再利用し、実世界で 83% の全体成功率を達成。 - 結果から、表現誘導型プログラム生成が異なる要件のタスクに適応できることを示す。

- 要旨からは不明。 - 限界や失敗事例、計算コスト、一般化範囲についての議論は要旨に記載なし。

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として VLM code generation、object-centric representation、6D pose estimation、relation graph、task and motion planning が挙げられる。 - 同分野の定番として、Code as Policies、SayCan、Inner Monologue などが次に読む候補。