RoboSTD: 矢状面ミラーリングによる片腕から両腕へのゼロショット転移学習

RoboSTDは、bimanual robot manipulationのためのzero-shot Single-to-Dualデータ構築手法である。bimanual demonstrationsの収集コストが高い一方、既存のsingle-arm manipulationデータはaction spacesやcoordination requirements、arm-side spatial preferenceのSingle-to-Dual gapにより直接転用しにくいという問題に対処する。sagittal-plane mirroringとLLMによるcoordination constraintsでpseudo-bimanual supervisionを再構成し、bimanual policy learningを可能にする。

- 既存のsingle-arm manipulationデータをbimanual系へ直接転用する際のSingle-to-Dual gapを明示的に扱う点が特徴。 - 追加のbimanual demonstrationsを必要とせず、zero-shotでpseudo-bimanual supervisionを構築する。 - 単純なmirroringだけでなく、LLM生成のspatio-temporal coordination constraintsでworkspace regionsやtask stagesごとに再構成する点が先行の単純拡張と異なる。 - 具体的な先行研究名との比較は要旨からは不明。

- まずobservations、proprioception、actionsにsagittal-plane mirroringを適用し、実行可能なcontralateral pseudo-demonstrationsを構築。 - 次にLLMを用いてstructured spatio-temporal coordination constraintsを生成。 - そのconstraintsに基づき、workspace regionsおよびtask stagesにわたりpseudo-bimanual supervisionを再構成する。 - これによりaction spacesのgapとcoordination requirements、arm-side spatial preferenceを吸収する。

- AgileX ALOHA platform上で、RoboTwin simulationとreal-world settingsの両方で評価。 - bimanual policy learningに対するRoboSTDの有効性を実験で示す。 - 追加のbimanual demonstrationsなしで、cup collection taskにおいて収集cup数の平均がsingle-arm baselineの2.11xに増加。 - 詳細な比較条件や他タスクの結果は要旨からは不明。

- 要旨からは不明。 - ただしSingle-to-Dual gapへの対処としてsagittal-plane mirroringとLLM-based coordination constraintsの組合せが有効と主張。 - zero-shot性やreal-world適用性に関する限界・失敗ケースの議論は要旨からは不明。

- 要旨で参照・比較されている具体的な先行研究名は不明。 - 関連手法として、single-armからbimanualへのdata transfer、sagittal-plane mirroring、LLM-based coordination constraints、bimanual policy learning、RoboTwin simulation、AgileX ALOHA platformに関する研究を次に読む候補として挙げる。