ロボット学習2026/8/15arXiv:2608.15002v1

ロボットポリシー訓練における凍結視覚エンコーダのNPUオフロード

NPU Offloading of a Frozen Visual Encoder for Robot Policy Training

ロボットポリシー訓練時に凍結した視覚エンコーダの計算を低消費電力のNPUにオフロードし、GPUの消費エネルギーを削減する手法を提案・評価した。

詳しい要約

1. どんなもの？

本論文は、ロボットポリシー訓練において、凍結された視覚エンコーダの計算を低消費電力のNPUにオフロードすることで、総エネルギー消費を削減できるかどうかを検証した研究である。具体的には、AR-Actor専門家向けにGPUとNPUを併用する非同期訓練パイプラインを構築し、凍結視覚エンコーダをMobilint Aries2 NPU上でA8W8 INT8精度で実行し、FP32のアクション生成モジュールをNVIDIA GeForce RTX 5060 Ti GPUで訓練する。オフロードするTransformerエンコーダ層の数を段階的に増やした4条件（L1〜L4）とGPUのみのベースラインを比較し、エネルギー、訓練時間、メモリ使用量、ポリシー成功率への影響を評価している。

2. 先行研究と比べてどこがすごい？

従来の研究では、視覚エンコーダを凍結することで逆伝播を省略し訓練コストを削減できるが、順伝播は毎ステップ実行されるためGPU計算を消費し続ける。本研究は、この順伝播をNPUにオフロードすることで、データ転送と訓練時間の増加を伴いながらも総エネルギーを削減できることを実証した点が新しい。また、INT8量子化されたエンコーダをNPUで実行し、ポリシー性能への影響を定量的に評価した点も先行研究にはない貢献である。

3. 技術・手法の肝は？

手法の核は、GPUとNPUを非同期に動作させる訓練パイプラインの設計である。凍結された視覚エンコーダ（ResNet18とTransformerエンコーダ層）はNPU上でINT8推論され、その出力特徴量がGPU上のアクション生成モジュール（FP32）に渡される。オフロードするエンコーダ層の数をL1（ResNet18+1層）からL4（ResNet18+全4層）まで段階的に増やし、GPU負荷を軽減する。エネルギー測定はGPUボード電力とNPUボード電力を合算して行い、訓練時間とメモリ使用量も記録している。

4. どうやって有効だと検証した？

有効性の検証は、GPUのみのベースラインと4つのNPUオフロード条件（L1〜L4）を各30,000ステップ、3つのランダムシードで訓練し、エネルギー、訓練時間、ピークGPUメモリ、ポリシー成功率を比較した。エネルギーはサンプルあたりでL1で17.1%、L4で27.9%削減された。一方、訓練時間はL1で15.2%、L4で37.7%増加し、ピークGPUメモリは19.8〜20.7%減少した。ポリシー評価は各条件で300環境シード、合計4,500ロールアウトを実施し、成功率はGPUのみで93.33%、NPU条件で91.44〜92.89%となり、0.44〜1.89ポイントの低下が確認された。

5. 議論はある？

議論としては、NPUオフロードによりエネルギー削減が達成できる一方で、訓練時間の増加とポリシー成功率の低下がトレードオフとして存在する点が挙げられる。成功率の低下はINT8量子化による精度劣化やデータ転送の遅延が原因と考えられるが、要旨からは詳細な分析は不明である。また、エネルギー削減の程度はハードウェア構成やワークロードに依存するため、汎用性には注意が必要である。さらに、NPUの電力測定方法や訓練時間の増加が実用上の許容範囲かどうかについては、要旨からは判断できない。

6. 次に読むべき論文は？

要旨で参照されている研究は明示されていないが、関連手法として、視覚エンコーダの凍結による訓練コスト削減、INT8量子化、NPUなどの低消費電力アクセラレータの利用、非同期パイプライン訓練などが挙げられる。次に読むべき論文としては、これらの分野の定番研究、例えば、凍結エンコーダを用いたロボットポリシー訓練の効率化に関する論文や、量子化がポリシー性能に与える影響を調査した論文が考えられる。具体的なタイトルは要旨からは不明である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hyojun Yun, Seungjae Won, Hyungpil Moon

分類: cs.RO, cs.AR, cs.LG

原文アブストラクト

When a robot policy is trained for a new task or dataset, its visual encoder can be frozen and only its action generation module trained, reducing training cost. Freezing removes the encoder's backward pass, but its forward pass must still run at every training step because the input images change, so it keeps consuming GPU compute. We therefore ask whether moving this computation to a low power AI accelerator such as an NPU can reduce total energy despite the added data transfer and longer training time, and how it affects policy performance. We built an asynchronous training pipeline that uses both a GPU and an NPU for the AR-Actor specialist. The frozen visual encoder runs in A8W8 INT8 on a Mobilint Aries2 NPU, while the FP32 action expert is trained on an NVIDIA GeForce RTX 5060 Ti GPU. We compared a GPU-only baseline with four conditions, L1 to L4, which gradually extend NPU offloading from one to four Transformer encoder layers. Each condition was trained for 30,000 steps with three random seeds. We measured GPU board power for the GPU-only condition and combined GPU and NPU board power for the NPU conditions. Energy per sample decreased by 17.1% in L1, which offloaded ResNet18 and the first encoder layer, and by 27.9% in L4, which offloaded ResNet18 and all four encoder layers. In contrast, training time per sample increased by 15.2% in L1 and 37.7% in L4, and peak allocated GPU memory decreased by 19.8 to 20.7%. The 15 resulting policies were each evaluated with the same 300 environment seeds, for a total of 4,500 simulator rollouts. The combined success rate was 93.33% for GPU-only and 91.44 to 92.89% for the NPU conditions. These results show that NPU offloading of a frozen visual encoder can reduce training energy, but it increases training time and lowers policy success rate by 0.44 to 1.89 percentage points compared with GPU-only training.

arXivで原文を読む →arXiv概要ページ

← 論文一覧