日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

最適制御/トランスフォーマーarXiv:2611.11815

明示的な状態推定なしで汎化可能なトランスフォーマーによる出力フィードバック最適制御

Generalizable Output Feedback Optimal Control via Transformers Without Explicit State Estimation

シェア:XThreadsFacebookLINEはてブBluesky

部分観測・雑音付き線形系の族に対し、状態推定器や系の行列を使わず短い観測窓から直接制御入力を出す単一トランスフォーマーポリシーを学習し、最適LQG制御をほぼ再現できることを示した。

詳しい要約

1. どんなもの?

- 部分的観測・ノイズを含む線形時不変系(LTI)の族に対し、1つの transformer ポリシーで最適制御を近似する研究。 - 対象は MIMO 系で、次元・コスト行列・ノイズ水準が異なる heterogeneous な系の集合。 - 実行時は短い窓のノイズ付き観測のみから制御入力を出力し、plant 行列も state estimator も用いない。 - 学習は optimal LQG control の模倣(imitation)で行う。

2. 先行研究と比べてどこがすごい?

- 古典的最適制御は plant ごとに個別に controller を設計するのが前提。 - 本研究は『1つの学習ポリシーが部分的観測・ノイズ付き線形系の族全体を担えるか』という問いを立て、それを実証。 - 従来の LQG のように plant 行列と state estimator を必要とせず、観測窓のみで動作する点が異なる。 - 次元・コスト・ノイズが異なる系を同一重みで扱える shared representation を導入。

3. 技術・手法の肝は?

- system-wise standardization、zero-padding、masking、コスト・ノイズ共分散の encoding による shared representation。 - 異種 LTI MIMO 系上の optimal LQG control を模倣するよう transformer を学習。 - 実行時は短い観測窓から直接制御入力を生成(plant 行列・state estimator 不要)。 - 動的状態空間モデルとして表される optimal LQG ポリシーと、有限窓上の静的 transformer の関係を理論的に特徴づけ。 - 任意の causal ポリシーの closed-loop excess cost を、最適行動からの偏差の energy として表現。

4. どうやって有効だと検証した?

- 28 個の simulated systems で評価。 - 学習済み(seen)系では optimal cost に対し median gap 0.4% 以内。 - 未学習(unseen)系では軽い fine-tuning により median gap 1.0% に到達。

5. 議論はある?

- optimal LQG ポリシー(動的状態空間モデル)と有限窓 transformer の関係、および excess cost の energy 表現という理論的考察を提示。 - 限界や失敗事例、計算コスト、スケーラビリティ等の詳細な議論は要旨からは不明。 - 実機検証や sim-to-real の議論は要旨からは不明。

6. 次に読むべき論文は?

- optimal LQG control(古典的 LQG) - Linear Time-Invariant (LTI) / MIMO システム同定・制御 - transformer による制御ポリシー学習(imitation learning 系) - state estimation を用いない output feedback control - 要旨で直接参照されている個別論文は不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Maitham F. AL-Sunni, Turki Bin Mohaya, John M. Dolan, Peter Seiler

分類: eess.SY, cs.RO

原文アブストラクト

Classical optimal control is used to design a separate controller for each plant. This paper asks a different question. Can one learned policy serve a whole family of partially observed, noisy linear systems? We show that one transformer can. The policy is trained to imitate optimal LQG control on a heterogeneous family of Linear Time-Invariant (LTI) systems with Multiple Inputs and Multiple Outputs (MIMO), whose dimensions, cost matrices, and noise levels all vary. A shared representation with system-wise standardization, zero-padding, masking, and an encoding of the cost and noise covariances lets one set of weights control every member of the family. At run time, a short window of noisy measurements is all the policy needs to produce a control action, with no plant matrices and no state estimator. We characterize the relation between the optimal LQG policy (represented as a dynamic state-space model) and a static transformer acting on a finite window of measurements. We then express the closed-loop excess cost of any causal policy as the energy of its deviation from the optimal action. Finally, we evaluate the approach on 28 simulated systems. The trained policy reaches the optimal cost to within a median gap of $0.4\%$ for seen systems. For unseen systems, a light fine-tuning step brings the median gap to $1.0\%$.

  1. 1パナソニックHDら、ロボット操作AI「T-Rex」を共同開発 12タスクで平均成功率65%研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3NVIDIA、Vera CPUのエージェント処理性能を公表 x86比で速度・電力効率を比較半導体・GPU
  4. 4Agility、SPAC合併でナスダック上場資金調達
  5. 5智元、清華大学などとCELを発表 96台のロボットで群体学習を検証研究・技術
PR本紙発行元 EmplifAI