日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2611.18491

見えない開始遅延が自己対戦ハンドオーバーを未知のパートナーに頑健にする

When Will You Hand It Over? A Hidden Start Delay Makes Self-Play Handover Robust to Unfamiliar Partners

シェア:XThreadsFacebookLINEはてブBluesky

自己対戦で学習したヒューマノイドの受け渡しが未知のパートナーで失敗する原因を特定し、学習パートナーの開始タイミングを隠れてランダム化する手法で成功率を31%から80%に改善した。

詳しい要約

1. どんなもの?

物理ベースのparcel handoverタスクにおいて、Unitree G1と学習されたgiverの間で協調self-playを行う研究。両者をalternating PPO self-playで訓練し、受取側(receiver)の手渡し成功率を評価する。訓練済みパートナー相手では95%・90%(2つのseed)成功するが、未見のscripted partners相手では31%に低下する問題を扱う。

2. 先行研究と比べてどこがすごい?

人間データなしでself-playによりhumanoidが物体を受け取れることを示す先行研究に対し、訓練後のパートナーが訓練相手と異なる現実的状況で性能が崩れることを示した点。さらに原因を特定し、partnerの再訓練を要さない簡便な修正(HSD)で未見パートナーへの成功率を31%から80%へ改善した点が新しい。

3. 技術・手法の肝は?

hidden start-delay randomisation (HSD)を導入。学習されたgiverにのみ適用する一行のルールで、giverのoffer開始をランダムに遅延させるが、receiverはその遅延を観測できない。これによりreceiverが単一のrendezvousを学習するのを防ぎ、多様な開始タイミングへの頑健性を得る。partnerの再訓練は不要。

4. どうやって有効だと検証した?

2つの訓練seedで、未見scripted partnersへの成功率が31%から80%へ(両seed)向上。budget-matched controlでは35–41%。新規scenario seed、11のheld-out partner条件、訓練時のどの遅延より遅く開始するパートナーでも利得が持続。高力接触が3–5倍減少することも確認。

5. 議論はある?

原因の切り分けとして、shared reward下では学習giverが常に即座にofferを開始するためreceiverが単一rendezvousを学習すること、自パートナーを1秒遅延させると成功率が95%→6%(第2seedは87%→34%)に落ちることをpaired interventionsで示す。ただし要旨からは、HSDの限界や他のタスクへの一般化可能性についての議論は不明。

6. 次に読むべき論文は?

要旨で参照/比較されているのは、人間データなしのcooperative self-play handover、alternating PPO self-play、scripted partners、budget-matched control。関連手法としてself-playによるhumanoid manipulationやsim-to-real transferの研究を次に読むべき候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mohammad Khoshnazar, Mike Degany, Deyuan Qu, Qing Yang, Matyas Szanto

分類: cs.RO

原文アブストラクト

Cooperative self-play can teach a humanoid to receive an object without any human data, but the partner it meets after training is never the one it trained with; we show that a fluent self-play handover policy breaks with unfamiliar partners, identify the main cause, and repair it. In a physics-based parcel handover between a Unitree G1 and a learned giver, both trained by alternating PPO self-play, the receiver completes 95% and 90% of handovers with its own partner (two training seeds) but only 31% with scripted partners it has never met. Paired interventions isolate the cause: under a shared reward the learned giver always starts its offer at once, so the receiver learns a single rendezvous, and delaying its own partner by one second cuts success from 95% to 6% (87% to 34% in the second seed). We introduce hidden start-delay randomisation (HSD), a one-line rule on the learned partner that the receiver never observes. After 300 further updates, success with unseen scripted partners rises from 31% to 80% in both seeds, against 35--41% for a budget-matched control. The gain holds on a fresh scenario seed, on eleven held-out partner conditions and on partners that start later than any training delay; it cuts high-force contact three- to five-fold and needs no retraining of the partner.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI