何が起きたか

Physical Intelligenceは、ロボット基盤モデルπ0.5において、人間の動画データを追加でファインチューニングすることで、ロボットデータが限られたタスクで約2倍の性能向上が得られることを発表した。この転移は特別な転移学習機構なしに、事前学習のスケール拡大によって創発的に生じるという。

詳細

Physical Intelligenceは、ロボット基盤モデルπ0.5のスケール拡大に伴い、人間の動画データからロボットタスクへの転移が創発的に生じることを発見したと発表した。同社は、人間の動画データをロボットデータと同様に扱い、3D手位置を行動として用いる単純な共ファインチューニング手法を採用した。特別な転移学習機構を追加せずに、人間データとロボットデータを混合してファインチューニングした結果、人間データにのみ存在する4つの汎化シナリオで性能が約2倍向上したという。 この結果は、事前学習のスケール拡大が人間データからの学習能力を向上させることを示している。例えば、卵の仕分けタスクでは、事前学習データの60%を超えると、人間データなしのモデルは性能向上が止まる一方、人間データを含むモデルは性能が向上し続けた。また、モデルの特徴表現を可視化すると、事前学習のスケールが小さいモデルでは人間データとロボットデータの特徴が異なるが、スケールを拡大すると特徴が一致し、人間とロボットのアライメントが創発的に生じることが確認された。

Key Facts

Physical Intelligenceは、ロボット基盤モデルπ0.5のスケール拡大に伴い、人間の動画データからロボットタスクへの転移が創発的に生じることを発表した。[0]
人間データを追加でファインチューニングすることで、ロボットデータが限られたタスクで約2倍の性能向上が得られた。[0]
人間データは、ウェアラブルカメラで記録される自己中心視点の動画であり、3D手位置を行動として用いた。[0]
特別な転移学習機構を追加せず、人間データとロボットデータを混合してファインチューニングする単純な手法を採用した。[0]
人間データにのみ存在する4つの汎化シナリオで性能が約2倍向上した。[0]
卵の仕分けタスクでは、事前学習データの60%を超えると、人間データなしのモデルは性能向上が止まる一方、人間データを含むモデルは性能が向上し続けた。[0]
事前学習のスケールを拡大すると、人間データとロボットデータの特徴表現が一致し、人間とロボットのアライメントが創発的に生じることが確認された。[0]
この転移は、事前学習のロボットデータの量と多様性の増加のみから生じる。[0]

なぜ重要か

この発見は、ロボット基盤モデルのスケール拡大が、人間の動画データを活用する新たな能力を創発的に生み出すことを示している。これにより、ロボットデータが限られたタスクでも、人間の動画データを活用して性能を向上できる可能性が広がる。