マニピュレーション2026/9/11arXiv:2609.13545

強化学習ベース適応制御のための実行時増分トランスフォーマー

Runtime-Incremental Transformer for Reinforcement-Learning-Based Adaptive Control

強化学習中にアテンションヘッドを動的に増減させる機構を提案し、摩擦メモリを持つマニピュレータの適応制御で長期的な失敗を解消した。

詳しい要約

1. どんなもの？

本論文は、非観測の摩擦メモリを持つロボットマニピュレータの適応制御において、強化学習中にattention head数を動的に増減させるruntime-incremental Transformerを提案する。attention-based meta-controllerのhead数を訓練前に固定する従来手法に対し、実行時に成長・剪定を行う仕組みを導入する。

2. 先行研究と比べてどこがすごい？

従来のattention-based meta-controllerはhead数が訓練前に固定され、高コストなoffline searchで調整されていた。長いメモリホライズンでは固定容量のcontrollerが訓練seedのかなりの割合でcatastrophic failureを起こしやすかった。提案手法は全メモリ領域で完全成功を達成し、長ホライズンの失敗モードを排除し、head数のoffline tuningを不要にした。

3. 技術・手法の肝は？

強化学習中のattention blockのheadを成長・剪定するruntime mechanismを導入する。成長はon-policy context distributionのeffective rankが表現容量不足を示すときに発火し、剪定はper-head output magnitudeが冗長なheadを検出する。成長イベント時のpolicy continuityと剪定イベント時の定量的boundを解析的に確立する。

4. どうやって有効だと検証した？

Stribeck摩擦を持つtwo-link manipulatorで検証し、提案機構が全メモリ領域で完全成功を達成し、長ホライズンの失敗モードを排除し、head数のoffline tuningを不要にすることを示した。

5. 議論はある？

要旨からは不明。

6. 次に読むべき論文は？

attention-based meta-controller、Stribeck friction、two-link manipulatorに関する研究。要旨で参照/比較されている具体的な論文名は不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Giansalvo Cirrincione, Adriano Fagiolini

分類: cs.RO, cs.LG

原文アブストラクト

Learning-based adaptive control of robotic manipulators with non-observable friction memory has been addressed by attention- based meta-controllers whose number of attention heads is fixed before training and is tuned by costly offline search. At long memory horizons, such fixed-capacity controllers are prone to catastrophic failures on a sizeable fraction of training seeds. The present paper introduces a runtime mechanism that grows and prunes the heads of the attention block during reinforcement learning, governed by two signals: the effective rank of the on-policy context distribution, which triggers growth when representational capacity becomes insufficient, and the per-head output magnitude, which flags redundant heads for removal. Policy continuity at growth events and a quantitative bound at prune events are established analytically. On a two- link manipulator with Stribeck friction, the proposed mechanism attains full success across all memory regimes, eliminating the long-horizon failure mode and removing the need for offline tuning of the head count.

arXivで原文を読む →arXiv概要ページ