日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2611.23502

物理的に結合した動力学系における学習と制御

Learning and Control in Physically Coupled Dynamical Systems

シェア:XThreadsFacebookLINEはてブBluesky

玉転がし迷路と倒立振子が物理的に干渉し合う低コストロボット実験台TAGを開発し、モデルベースとモデルフリーの強化学習で各制御則を学習、結合による性能低下からオンライン適応で回復することを示した。

詳しい要約

1. どんなもの?

- 物理的に結合した動力学系で学習と制御を研究するための小型・低コストなロボティクスプラットフォーム TAG (Testbed for Autonomous Games) を導入 - TAG は能動的に傾斜・操舵される ball-in-maze board と、その上部に搭載された rotary inverted pendulum を組み合わせる - pendulum の反作用トルクと振動が board と marble を乱し、maze-solving policy が駆動する board の傾斜が pendulum のバランスを同時に乱す - 各サブシステムの制御ポリシー学習では、一方のダイナミクスが他方の学習過程に与える影響を考慮することが主課題

2. 先行研究と比べてどこがすごい?

- 要旨からは不明(先行研究との具体的比較は記述されていない) - 物理的に結合した2つのサブシステムを同一プラットフォーム上で同時に扱い、相互の動力学干渉下での学習を研究対象としている点が本研究の特徴として示唆される

3. 技術・手法の肝は?

- 相補的な reinforcement learning パラダイムを提示 - maze と pendulum の制御ポリシー学習に、それぞれ model-based と model-free のアプローチを活用 - 結合による影響を各サブシステムの学習過程で考慮する設計

4. どうやって有効だと検証した?

- 実験により、物理的結合があるにもかかわらず、独立に訓練された両ポリシーが maze board と pendulum を制御できることを示す - 主要な知見として、pendulum を導入すると maze policy の成功率が即座に急落するが、ポリシーはオンラインで適応し、少数の学習エピソードで結合前の性能まで回復することを確認

5. 議論はある?

- 結合導入時の maze policy 成功率の急落と、オンライン適応による短期間での性能回復が議論の中心 - 両ポリシーを独立に訓練しても結合下で制御可能である点が示される - その他の議論や限界については要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない - 関連手法として model-based reinforcement learning と model-free reinforcement learning の文献、および rotary inverted pendulum や ball-in-maze を用いた制御学習の定番研究を次に読む候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bao Trung Truong, Dat Thanh Nguyen, Thinh T. Doan

分類: cs.RO, eess.SY

原文アブストラクト

We introduce TAG (Testbed for Autonomous Games), a compact, low-cost robotic platform for studying learning and control in physically coupled dynamical systems. TAG combines an actively tilted and steered ball-in-maze board with a top-mounted rotary inverted pendulum. The pendulum's reaction torque and vibration disturb the board and marble, while the board's tilt, driven by the maze-solving policy, simultaneously disturbs the pendulum's balance. The main challenge in learning control policies for each subsystem is accounting for the impact of one subsystem's dynamics on the other's learning process. To address this challenge, we present complementary reinforcement learning paradigms, leveraging model-based and model-free approaches to learn the control policies for the maze and pendulum, respectively. Our key finding is that introducing the pendulum causes an immediate, sharp drop in the maze policy's success rate, but the policy adapts online and recovers to its pre-coupling performance within a small number of learning episodes. Experimental results show that both policies, trained independently, successfully control the maze board and the pendulum despite their physical coupling.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI