日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ヒューマノイド/強化学習arXiv:2611.26054

終了条件で形作る強化学習による参照データ不要のヒューマノイド・スケートボード

Reference-Free Humanoid Skateboarding via Termination-Shaped Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

人間のデモやシステム同定なしに、モデルフリー強化学習と制約的な終了条件の組み合わせでK1ヒューマノイドにスケートボード走行を学習させる手法を提案した。

詳しい要約

1. どんなもの?

ヒューマノイドロボット(K1 humanoid)がskateboardingを行うための、参照データ不要の深層強化学習フレームワーク。歩行・走行と異なり、受動的だが可動な外部物体(board)と身体を協調させるobject-mediated locomotionの課題に取り組む。人間のデモンストレーションやシステム同定を要する解析的steeringモデルを使わず、model-free学習でskateboardingを獲得する。

2. 先行研究と比べてどこがすごい?

既存のヒューマノイドskateboarding手法は人間のデモンストレーションを必要とするか、システム同定を要する解析的steeringモデルを利用していた。提案法はデモンストレーション等の事前データに依存せず、model-free強化学習のみで学習を可能にする点が異なる。

3. 技術・手法の肝は?

task rewardsとexploit-blocking terminationsを組み合わせる。boardを踏む足を失う、両足でboardに立つ、過度なtwisting、boardからの分離、不安定なboard motionといった制約を導入する。これらの制約の学習中の出現頻度変化が、stance controlから持続的なrobot–board locomotionへの暗黙的な段階的進行を生む。

4. どうやって有効だと検証した?

K1 humanoidがskateboardingを学習できることを示す形で検証されている。ただし具体的な実験設定・比較・定量指標は要旨からは不明。

5. 議論はある?

制約の出現頻度変化が学習の暗黙的カリキュラムとして働く点が議論の対象。ただし限界や失敗事例、制約設計の一般性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照・比較されているのは、人間のデモンストレーションを用いるskateboarding手法と、システム同定を要する解析的steeringモデル。関連手法としてmodel-free deep reinforcement learning、humanoid locomotion、object-mediated locomotionの研究が次に読む候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ganeshvar Soenessardien, Michael Przystupa, Kevin Sebastian Luck

分類: cs.RO, cs.LG

原文アブストラクト

Humanoid locomotion research has advanced rapidly on walking and running, but \emph {object-mediated} locomotion, in which a robot must coordinate its body with a passive external object, remains difficult. One challenging task is skateboarding, which requires simultaneous interaction with the ground and a passive but movable platform to achieve forward motion. Current methods for tackling skateboarding with humanoid robots either require human demonstrations or utilise analytic steering models that require system identification. In this paper, we introduce a deep reinforcement learning framework that does not rely on prior data such as demonstrations and enables robots such as the K1 humanoid to learn to skateboard using model-free learning. The method combines task rewards with exploit-blocking terminations. We introduce a number of constraints restricting behaviours such as losing the planted board foot, standing with both feet on the board, excessive twisting, separation from the board, and unstable board motion. Their changing prevalence during training produces an implicit progression from stance control towards sustained robot--board locomotion.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI