KINO: ヒューマノイドの移動操作におけるVLM計画と全身制御のためのキーフレームインターフェース

- 人型ロボットの loco-manipulation を対象とした階層型フレームワーク。 - VLM による計画と RL 制御の間に motion keyframe を中間表現として導入。 - 各 keyframe は目標となる全身姿勢と、必要に応じて物体姿勢を指定。 - 言語指示・シーン観測・実行フィードバックから VLM が事前定義ライブラリの keyframe を選択。 - 選択された keyframe は現在のシーンに合わせて retarget され、keyframe-conditioned whole-body policy が関節レベルの行動を生成。

- 従来の VLM 計画と低レベル制御の直接接続に対し、keyframe を中間表現として挟む点が特徴。 - これにより VLM の疎な keyframe 指示でも全身制御を実現。 - saliency-based keyframe sampling により、疎な VLM keyframe 使用時の end-to-end タスク成功率を 44% から 92% へ改善。 - 訓練参照データ外の配置場所にも汎化。 - 具体的な先行研究名は要旨からは不明。

- 階層構造: VLM 計画 → keyframe 選択 → retargeting → whole-body policy。 - keyframe は全身ロボット姿勢と物体姿勢を指定。 - VLM は言語指示・シーン観測・実行フィードバックに基づきライブラリから逐次選択。 - 選択 keyframe を現在の物体姿勢・寸法に合わせて retarget。 - keyframe-conditioned whole-body policy が関節レベル行動を生成。 - 低レベルポリシー訓練に saliency-based keyframe sampling を導入。

- シミュレーションと Unitree G1 humanoid 上で評価。 - 対象タスクは object pickup、transport、placement。 - 片手および両手の manipulation を成功裏に実行。 - 訓練参照データを超える配置場所への汎化を確認。 - saliency-based keyframe sampling の有無で成功率 44%→92% を比較。

- 要旨からは不明。 - 限界や失敗事例、計算コスト、VLM の誤りへの頑健性などは記述されていない。

- 要旨で参照・比較されている研究は明記されていない。 - 関連手法として Vision-Language Model (VLM) planning、Reinforcement Learning (RL) control、whole-body control、keyframe-based motion retargeting、saliency-based sampling が挙げられる。 - 同分野の定番として humanoid loco-manipulation に関する階層型制御や VLM を用いたロボット計画の論文を読むとよい。