Praxis、一人称動画から全身操作の事前知識を抽出する枠組みを発表

何が起きたか

arXivは2026年9月25日、論文「Praxis: Distilling Physical Interaction Priors from Egocentric Videos for Generalizable Whole-Body Manipulation」を掲載した。論文は、少ないタスク特化データでは難しいモバイルヒューマノイドの全身操作に対し、一人称の1回分の実演動画から物理的な相互作用の事前知識を取り込む枠組み「Praxis」を提示している。Praxisは、対象物への移動、腕と手の作業空間を合わせる閉ループ姿勢較正、上下半身を同期させた器用な操作の3段階で構成される。

詳細

論文によると、Praxisは視覚と言語に導かれる移動、閉ループ姿勢較正、器用な操作の3段階を連携させる。オンラインの視覚フィードバックで、新しい物体姿勢や場面配置に対して実演時の相互作用幾何を再接地し、触覚フィードバックで実際の接触条件に合わせて手の動きを調整する設計である。 各操作スキルは人間の実演1回で指定でき、タスク特化の操作ポリシー再学習は不要としている。実験は5つの長時間タスクで行われ、空間的一般化、視覚的一般化、対象横断の一般化、さらに3段階すべてでの外部物理的擾乱からの復帰を示した。

Key Facts

本紙の見方

Praxisの新しさは、全身操作を「移動」「姿勢較正」「器用な操作」に分けたうえで、一人称の1回分の実演動画を起点にそのまま再利用できる相互作用の事前知識として扱った点にある。少量データでの学習という既存課題に対して、タスクごとの再学習を前提にせず、視覚・言語・触覚を段階的に閉ループでつなぐ設計を前面に出しているのが特徴である。 本紙の関連記事はないため、過去報道との連続性は置かない。ただし、論文の構成からは、単一の模倣学習ではなく、ナビゲーションと腕手の整列、接触後の微調整を別工程として束ねる方向性が読み取れる。ここで重要なのは、物体姿勢や場面配置が変わっても視覚で相互作用の幾何を再接地し、接触条件は触覚で補正する点である。つまり、認識だけでも、制御だけでも完結しない実世界の操作を、入力・接近・整列・接触・復帰という連鎖として扱っている。 業界構造への含意としては、学習データの粒度が論点になる。1回分の実演でスキルを定義できるなら、従来よりもタスク収集の負担を圧縮できる可能性がある一方、実験が5つの長時間タスクに限られているため、タスクの幅をどこまで広げられるかが次の焦点になる。また、触覚フィードバックを前提にしているため、視覚中心のモデルよりも末端のセンサー配置や制御遅延の影響を受けやすい可能性がある。未確定の論点は、どの程度の物体種や環境変化まで同じ枠組みで維持できるか、別のロボット本体に移植した場合も同じ性能を保てるか、そして再学習不要という主張がどの条件で成立するかである。

なぜ重要か

論文が示したのは、全身操作を大規模な再学習なしで扱うための具体的な分解方法である。人間の1回分の一人称実演と、視覚・触覚のオンライン補正を組み合わせる設計は、データ収集の方法や制御系の前提を見直す材料になる。 一方で、検証は5つの長時間タスクに限られている。したがって、実機展開では、どの物体群や接触条件まで同じ手順で再現できるかを確認する必要がある。