日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

量子化arXiv:2611.25614

未来を失わない:ワールドアクションモデルの潜在空間を考慮した4ビット量子化

Don't Lose the Future: Latent-Aware 4-Bit Quantization of World Action Models

シェア:XThreadsFacebookLINEはてブBluesky

ワールドアクションモデルを4ビット量子化する際、予測される未来の忠実度を保つことに着目したLAQを提案。未来誤差が行動に与える影響を測る指標と読み取り回数で精度配分を閉形式で解き、行動が注目するトークンを再精錬することで16ビットモデルに近い成功率を達成した。

詳しい要約

1. どんなもの?

- World Action Models (WAMs) をロボット搭載計算機で動かすための 4-bit 量子化フレームワーク LAQ を提案 - 重み・活性・KV cache をすべて 4-bit 化 (W4A4KV4) する - 従来の量子化が action の保持に注力するのに対し、予測される future (latent) の忠実度を守る点に着目 - 高精度分岐やタスクごとの再キャリブレーションを不要とする

2. 先行研究と比べてどこがすごい?

- 既存の WAM 向け 4-bit 量子化は生成 action を保持し、denoising step ごとに感度を推定していた - しかし action 経路を保護しても、残る誤差は劣化した future を介して流入し、それを意図的に守る手法はなかった - LAQ は future が書かれ・保存され・読まれる箇所を保護する点で先行研究と異なる - 16-bit KV cache を用いるベースラインを上回る性能を達成

3. 技術・手法の肝は?

- reader metric: future 誤差を action への影響で測る指標 - read count: 各丸め誤差を、それを読む denoising step 数で重み付け - これらにより activation と cache への精度配分を閉形式で解く - gaze-guided refinement: action が注目する token に denoising loop と cache 内で 2 回目の 4-bit パスを与える - 重みは 4-bit 固定、高精度分岐なし、タスク別再キャリブレーションなし

4. どうやって有効だと検証した?

- LIBERO-Plus benchmark で Fast-WAM と Cosmos-Policy を評価 - 平均成功率 76.4% / 83.3% で 16-bit モデルから 1.2 ポイント以内、16-bit KV cache のベースラインを上回る - モデルを 3.8x 圧縮、policy 全体のピーク GPU memory を 2.3x 削減、16-bit モデルより 1.66x 高速 - 実機 AgileX PiPER arm で 3 タスク平均 47.0%(16-bit は 52.0%、QuaRot より 30.0% 高い)

5. 議論はある?

- 実機成功率は 16-bit モデルに約 5 ポイント及ばず、量子化による性能差が残る - 評価は LIBERO-Plus と AgileX PiPER の 3 タスクに限られ、一般化の議論は要旨からは不明 - gaze-guided refinement の計算オーバーヘッドや他 WAM への適用性は要旨からは不明

6. 次に読むべき論文は?

- Fast-WAM - Cosmos-Policy - QuaRot - LIBERO-Plus benchmark 関連研究 - WAM 向け既存 4-bit 量子化手法(denoising step ごとの感度推定を行うもの)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yichen Guo, Yanlong Chen, Xinyue Zhang, Mohan Liu, Song Zhang, Yawei Li

分類: cs.AI

原文アブストラクト

World action models (WAMs) predict how a scene will evolve and condition their actions on this predicted future. Deploying them on a robot's onboard computer calls for 4-bit weights, activations and key-value caches (W4A4KV4). Existing 4-bit quantizers for WAMs preserve the generated action, and estimate sensitivity one denoising step at a time. However, they fail to preserve the fidelity of the predicted future: once the action pathway is protected, the remaining action error enters mostly through a degraded future that none of them deliberately protects. We propose LAQ, a latent-aware quantization framework that preserves the predicted future where it is written, stored and read. Specifically, we introduce a reader metric, which measures future error by its effect on the action, and a read count, which weights each rounding error by the number of denoising steps that read it. Together they give the allocation of precision over activations and caches a closed-form solution. We further develop gaze-guided refinement, which gives the tokens the action attends to a second 4-bit pass in the denoising loop and in the cache. All weights stay at 4 bits, with no high-precision branch and no per-task recalibration. On the LIBERO-Plus benchmark, LAQ reaches 76.4% and 83.3% average success on Fast-WAM and Cosmos-Policy, within 1.2 percentage points of the 16-bit models and all above the baselines with 16-bit KV caches. It compresses the model by 3.8x, reduces the peak GPU memory of the whole policy by 2.3x, and runs 1.66x faster than the 16-bit model. On a real AgileX PiPER arm, it reaches 47.0% average success over three tasks, against 52.0% for the 16-bit model and 30.0% higher than QuaRot.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI