画像ポリシーに3D形状知識を蒸留する形状教師アライメント

- 画像ベースのロボット操作 policy が、訓練時のみ 3D shape 情報を獲得し、deployment 時は純粋な画像入力のまま動作できるかを問う研究。 - 提案は shape-teacher alignment と呼ぶ訓練時メカニズム。pretrained 3D shape representation を image-based policy encoder の alignment target として使う。 - 具体的には個々の物体の Point-MAE features を対応する image patches の target とし、deployment の入力や architecture を変えずに幾何構造を policy に転移する。

- 3D-aware representations は viewpoint 変化・物体位置・occlusion に頑健で操作改善が期待できるが、deployment での 3D 入力は追加 sensing と処理を要する。 - 本研究は画像ベース policy の実用性を保ちつつ、訓練時のみ 3D shape 情報を活用する点が特徴。 - deployment 時に shape teacher も depth 入力も不要で、入力・architecture を変更しない。 - 先行研究との具体的な比較数値は要旨からは不明。

- pretrained 3D shape representation を alignment target として利用する訓練時メカニズム。 - 個々の物体の Point-MAE features を、対応する image patches の target に設定。 - これにより image-based policy encoder に幾何構造を転移し、deployment 入力や architecture は変更しない。 - 詳細な loss 設計や patch 対応付けの手続きは要旨からは不明。

- LIBERO 上で評価。 - shape-teacher alignment により、image representations が物体形状や対応部位の周辺でより構造化されることを確認。 - policy convergence の大幅な加速と success rates の改善を報告。 - pretrained policies では Object suite で 4.7x、Spatial suite で 5.6x の convergence 加速。deployment 時に shape teacher や depth 入力は不要。

- deployment 時に 3D sensing や depth を必要とせず、画像のみで 3D shape 情報の恩恵を得られる点を主張。 - 一方、shape teacher の品質依存性、他タスク・実機への汎化、patch 対応の誤りへの感度などは要旨からは不明。 - 比較対象や ablation の詳細も要旨からは不明。

- Point-MAE（shape teacher として使用）。 - LIBERO（評価 benchmark）。 - 関連手法として 3D-aware representation を用いる robotic manipulation 研究、image-based policy learning、pretrained 3D shape representation の転移学習。