スキル条件付きLoRA-MoEと軌道アフォーダンス事前分布による多スキルロボット操作

- 汎用ロボット操作のための単一の vision-language-action (VLA) policy を扱う研究。 - 多技能 (multi-skill) の指示に対して、どの primitive skill を実行するか、どこ/どう物体に接触・移動するかの2点を十分にモデル化する枠組み。 - MAST-VLA (Multi-skill Adaptation with Skill-conditioned experts and Trajectory-affordance priors) と名付けた dual-conditioning フレームワークを提案。

- 既存の multi-skill VLA policy は、指示中の『どの primitive skill を実行するか』と『どこ/どう接触・移動するか』のモデル化が不十分という課題を指摘。 - 提案法は skill-conditioned な LoRA-MoE と trajectory-affordance の空間 prior を組み合わせ、この2点を明示的に条件付けする点が特徴。 - CALVIN ABC→D の long-horizon multi-skill cross-scene generalization 設定で state-of-the-art を達成し、Avg. Len 4.65 (5-subtask 評価系列) を報告。

- LLM backbone に skill-conditioned LoRA Mixture-of-Experts (LoRA-MoE) adapters を導入。 - skill-query tokens と routing biases により low-rank expert の特化を誘導。 - 予測した affordance heatmap を patch-level の trajectory-affordance spatial prior に変換し、action head に与える。 - skill 条件付けと trajectory-affordance 条件付けの dual-conditioning を構成。

- CALVIN ABC→D の long-horizon multi-skill cross-scene generalization 設定で評価。 - 5-subtask 評価系列で Avg. Len 4.65 を達成し state-of-the-art と報告。 - 実ロボットでの multi-skill sequence 実験を行い、実知覚・制御ノイズ下での展開可能性 (deployability) を検証。

- 実ロボット実験により実知覚・制御ノイズ下での展開可能性を示唆。 - 具体的な失敗事例や限界、ablation の詳細は要旨からは不明。 - 議論の詳細は要旨からは不明。

- CALVIN (ABC→D 設定) ベンチマークに関する研究。 - LoRA Mixture-of-Experts (LoRA-MoE) を用いた VLA 適応の関連研究。 - affordance heatmap や trajectory-affordance prior を action head に用いる操作研究。 - 具体的な参照論文は要旨からは不明。