何が起きたか
arXivに公開された論文（2608.03938v1）で、NVIDIAのエントリー級組み込みボード「Jetson Orin Nano Super (8GB)」上で、両腕SO-101システムによる変形物体（ビーンバッグ）のピックアンドプレースを実証した。トレーニングはデスクトップGPU（RTX 3070）で行い、推論はすべて組み込みボード上で実行。3カメラのセンシングにNVMMバッファを用いたGStreamerパイプラインを構築し、ホスト・デバイス間のコピーを削減した。その結果、従来方式でもメモリ不足やフレーム落ちは発生しなかったが、ゼロコピー化によりCPUのピーク使用率が98.0%から77.0%に低下し、最悪レイテンシも117.31msから101.52msに改善した。さらに、ACTとDiffusion Policyを同一のデモデータで学習したところ、ACTは19/20試行でタスク成功したのに対し、Diffusion Policyはステップ数を2倍にしても0/10で収束しなかった。ACTをTensorRT変換した結果、FP16で平均推論レイテンシが114.02msから17.93ms（6.4倍）、INT8で12.65ms（9.0倍）に短縮され、タスク成功率はFP16で18/20、INT8で19/20と維持された。また、TensorRTのINT8量子化ではResNet18バックボーンのみが量子化され、145層のトランスフォーマー層はすべて拒否されたため、INT8のサイズ削減はFP16比0.9%にとどまった。さらに、ACTのアクションチャンキング設定によっては量子化が不要で、n_action_steps=100ではフル精度で実行可能だが、時間的アンサンブルで必要な毎ステップ再予測では量子化が必要になることを報告している。
Key Facts
| 研究はNVIDIA Jetson Orin Nano Super (8GB)上で両腕SO-101システムを実行し、デスクトップGPU（RTX 3070）はオフライン学習のみに使用した。 | [0] |
| ゼロコピーセンシングによりCPUピーク使用率が98.0%から77.0%に、最悪レイテンシが117.31msから101.52msに改善した。 | [0] |
| ACTは19/20試行でタスク成功したが、Diffusion Policyはステップ数を2倍にしても0/10で収束しなかった。 | [0] |
| TensorRT変換により、FP16で平均推論レイテンシが114.02msから17.93ms（6.4倍）、INT8で12.65ms（9.0倍）に短縮され、タスク成功率はFP16で18/20、INT8で19/20と維持された。 | [0] |
| TensorRTのINT8量子化はResNet18バックボーンのみを量子化し、145層のトランスフォーマー層はすべて拒否されたため、INT8のサイズ削減はFP16比0.9%にとどまった。 | [0] |
| ACTのアクションチャンキング設定によっては量子化が不要で、n_action_steps=100ではフル精度で実行可能だが、時間的アンサンブルで必要な毎ステップ再予測では量子化が必要になる。 | [0] |
なぜ重要か
この研究は、ロボット操作の模倣学習ポリシーをエントリー級の組み込みデバイスで実行できることを示し、コストと消費電力の面で実用化へのハードルを下げる。特に、TensorRTによる量子化がACTのアーキテクチャに与える影響を詳細に分析しており、組み込み展開時のモデル選択や最適化の指針となる。また、Diffusion Policyが組み込み向けには不向きである可能性を示唆し、タスクに応じたポリシー選択の重要性を浮き彫りにした。