強化学習/建設ロボティクス2026/9/8arXiv:2609.08669

連続調整による被覆構造の構築学習

Learning to build covering structures with continuous adjustments

事前計画なしに強化学習で構造物を適応的に組み上げる手法を提案し、シミュレーションと実機2台のロボットでアーチ構造の構築に成功した。

詳しい要約

1. どんなもの？

本論文は、ロボットによる建設作業において、事前に定義された計画を用いず、構造を構築しながら適応的に建設シーケンスを生成する強化学習手法を提案している。具体的には、グラフ構造の状態表現と、離散的なブロック選択と連続的な配置パラメータを含む混合（パラメータ化）アクション空間を扱う。安定性シミュレーションの計算コストが高いため、グラフニューラルネットワークに単方向エッジを組み込み、soft actor-critic (SAC) をこのハイブリッド設定に拡張したHSACアルゴリズムを導入する。

2. 先行研究と比べてどこがすごい？

先行研究は、物理的な製造に内在する公差、不正確さ、予期しない変化に対応できない、剛直で高精度な計画に依存していた。本手法は、事前定義された計画を完全に放棄し、構造が構築されるにつれて適応的に建設シーケンスを生成する点で革新的である。また、従来のhybrid-PPO (HPPO)と比較して、漸近性能が大幅に高く、サンプル効率も良いことを示している。

3. 技術・手法の肝は？

手法の核心は、グラフ構造の状態表現と混合アクション空間を扱うための強化学習フレームワークの拡張である。具体的には、安定性シミュレーションの計算負荷を軽減するため、グラフニューラルネットワークに単方向エッジを組み込む。さらに、soft actor-critic (SAC)をハイブリッド設定（離散と連続の混合）に拡張し、効率的な探索戦略を実現している。

4. どうやって有効だと検証した？

提案手法HSACを、先行手法であるhybrid-PPO (HPPO)と比較し、漸近性能とサンプル効率の大幅な向上を実証した。また、ハイパーパラメータ選択に対するロバスト性と、最大10個の離散アクションを扱っても性能が劣化しない探索能力を示した。さらに、物理的な2ロボットセットアップを用いて、3Dプリントされたブロックでスパニングアーチを閉ループ実行で構築し、シミュレーションで訓練されたポリシーが実ハードウェアに転移することを確認した。

5. 議論はある？

要旨からは、提案手法の限界や潜在的な欠点についての議論は明示されていない。ただし、安定性シミュレーションの計算コストが高いことへの対処として単方向エッジを導入しているが、その近似がどの程度正確であるかや、より複雑な構造への適用可能性については不明である。また、物理実験は単一のアーチ構造のみであり、多様な構造への一般化については議論されていない。

6. 次に読むべき論文は？

要旨で参照されている先行研究はhybrid-PPO (HPPO)であり、これは関連手法として挙げられる。また、強化学習の基盤としてsoft actor-critic (SAC)が使用されているため、SACの原論文も関連する。さらに、グラフニューラルネットワークを用いた強化学習や、ロボット建設における計画手法に関する研究が次の読むべき論文として考えられるが、具体的なタイトルは要旨からは不明である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gabriel Vallat, Maryam Kamgarpour, Stefana Parascho

分類: cs.RO, cs.LG

原文アブストラクト

Robotic construction offers the potential to use materials more efficiently and create complex geometries, but current methods rely on rigid, high-precision plans that cannot accommodate the tolerances, inaccuracies, and unexpected changes inherent in physical fabrication. In this work, we introduce a reinforcement learning approach that forgoes predefined plans entirely, instead generating construction sequences adaptively as the structure is built. Our method operates on graph-structured state representations and a mixed (parameterized) action space, requiring both discrete block selection and continuous placement parameters. Because the stability simulation of a structure is computationally heavy, we develop an efficient exploration strategy by incorporating unilateral edges into graph neural networks, extending soft actor-critic (SAC) to this hybrid setting. We evaluate our algorithm, HSAC, against the prior method hybrid-PPO (HPPO), demonstrating significantly higher asymptotic performance and good sample efficiency. We also demonstrate HSAC's robustness to hyperparameter choices and its exploration capability, handling up to 10 discrete actions without performance degradation. Finally, we validate our approach on a physical two-robot setup, successfully building a spanning arch with 3D-printed blocks in closed-loop execution, confirming that policies trained in simulation transfer to real hardware.

arXivで原文を読む →arXiv概要ページ

← 論文一覧