日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

小型言語モデルarXiv:2611.20771

Nemotron 3.5 Bolt E4B 4GB:高速対話エージェント向けのオープンで効率的な小型言語モデル

Nemotron 3.5 Bolt E4B 4GB: An Open and Efficient Small Language Model for Fast Conversational Agents

シェア:XThreadsFacebookLINEはてブBluesky

Gemma-4-E4B-itを追加学習した小型言語モデルで、マルチターンのツール利用や指示追従を強化しつつ、少ない出力トークンで高い精度を実現し、投機的デコードで高速化した。

詳しい要約

1. どんなもの?

- Nemotron 3.5 Bolt E4B 4GB という小型言語モデル - Gemma-4-E4B-it から追加 post-training した open なモデル - メモリ 1GB あたりの速度と知能を最適化し、高速な会話エージェント向けに設計 - 想定用途 - 音声/デバイスアシスタント、対話型ペルソナ、組み込み/Edge インターフェース - マルチターンの tool use、instruction following、input grounding を強化 - GeForce RTX、Jetson、RTX/DGX Spark 上で動作 - 付属物 - DFlash drafter を同梱して公開

2. 先行研究と比べてどこがすごい?

- 比較対象は Gemma-4-E4B-it と Qwen3.5-4B - 21 個の benchmark で平均 accuracy が最も高い - reasoning / non-reasoning の両モードで出力 token 数が最少 - 推論速度の面 - DFlash 併用時、speculative decoding なし比で concurrency 1 の per-user decode speed が 2.74 倍 - batch size 1 で MTP 付き Gemma-4-E4B-it の generation throughput の 1.21 倍 - ただし精度・速度の詳細な内訳や他 benchmark での優劣は要旨からは不明

3. 技術・手法の肝は?

- Gemma-4-E4B-it を起点とした追加 post-training - 会話能力を継承しつつ multi-turn tool use、instruction following、input grounding を改善 - メモリ効率(GB あたり)を重視した最適化 - DFlash drafter による speculative decoding で decode を高速化 - 具体的な学習データ、post-training 手順、DFlash の内部機構は要旨からは不明

4. どうやって有効だと検証した?

- 21 個の benchmark で評価 - Gemma-4-E4B-it、Qwen3.5-4B と比較 - 平均 accuracy と出力 token 数を reasoning / non-reasoning 両モードで測定 - 速度評価 - DFlash あり/なしの per-user decode speed を concurrency 1 で比較 - batch size 1 で MTP 付き Gemma-4-E4B-it との generation throughput を比較 - 各 benchmark 名や評価条件の詳細は要旨からは不明

5. 議論はある?

- 主張は平均 accuracy と出力 token 数、および速度指標に基づく - 21 benchmark の内訳や個別タスクでの弱み、分散、統計的有意性は要旨からは不明 - 4GB というメモリ制約下での品質限界や、Edge 実機での実測は要旨からは不明 - DFlash drafter の追加コストや精度への影響も要旨からは不明

6. 次に読むべき論文は?

- Gemma-4-E4B-it(ベースモデル) - Qwen3.5-4B(比較対象) - DFlash drafter / speculative decoding 関連研究 - MTP(multi-token prediction)関連研究 - 同分野の定番として small language model の効率化・量子化・Edge 展開に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: NVIDIA, :, Adi Margolin, Aditya Malte, Aishwarya Chhabra, Alex Hodson, Ameya Sunil Mahabaleshwarkar, Ambrish Dantrey, Amy Shen, Andrii Skliar, Annamalai Chockalingam, Anusha Pant, Ashwath Aithal, Ashwin Kumar, Besmira Nushi, Bhavesh Pawar, Bryan Catanzaro, Bryan Yu, Chantal Hwang, Chenhan Yu, Chris Alexiuk, Conner Currie, Cynthia Gao, David Mosallanezhad, Dina Yared, Ehsan Hosseini Asl, Eileen Long, Erick Galinkin, Felix Friedmann, Giedrius Burachas, Gorkem Batmaz, Grzegorz Chlebus, Guillermo Siman, Haifeng Qian, Hao Guo, Hayley Ross, Hrishith Thadicherla, Hui Wang, Huiying Li, Ike Nnoli, Irina Filatova, Iris Liu, Ji-Eun Lee, Jian Leong, Jian Zhang, Jiaqi Zeng, Joey Conway, Jonathan Cohen, Jose Vergara, Julien Veron Vialard, Kari Briski, Katherine Luna, Kedar Pandurang Potdar, Kevin Ning, Khalil Ben Khaled, Krzysztof Pawelec, Laura Dykes, Leili Tavabi, Lily Lee, Linda Liu, Liwei Ding, Maka Dong, Manoj Kilaru, Maria Bagdasarova, Matthew Lee, Meredith Price, Micah Schaffer, Michael Boone, Michael Fukuyama, Michael Hasper, Nancy Agarwal, Negar Habibi, Oleksii Kuchaiev, Oluwatobi Olabiyi, Pablo Ribalta, Payal Motwani, Pinky Xu, Prasoon Varshney, Pritam Biswas, Puhui Meng, Rameshwar Shivbhakta, Ran Zilberstein, Reka Kovacs, Richard Mazzarese, Rishabh Garg, Rita Fernandes Neves, Rochelle Woods, Ruby Ye, Ruvaid Virk, Ryan Hill, Saeid Motiian, Seph Mard, Shai Ben Nun, Shaona Ghosh, Sharad Yadav, Sudeep Sabnis, Suhas Hariharapura Sheshadri, Terry Kong, Thanh Do, Thinh Le, Udi Karpas, Viet Anh Trinh, Vinay Raman, Vinita Sharma, Warren Drones, Wenwen Gao, Whei Hsueh, Will Efstratis, Yoshi Suhara, Yunsheng Liu, Zhenming Wang, Zijia Chen, Zuhair Ahmed

分類: cs.CL, cs.AI, cs.LG

原文アブストラクト

We introduce Nemotron 3.5 Bolt E4B 4GB, an open and efficient small language model further post-trained from Gemma-4-E4B-it and optimized for speed and intelligence per GB of memory used for fast conversational agents. The model carries forward Gemma's strong conversational capabilities and further improves multi-turn tool use, instruction following, and input grounding for fast, local voice/device assistants, interactive personas, and embedded/Edge interfaces. The model combines natural conversation with multi-turn agentic capabilities to power voice/device assistants, interactive characters and robotic/IoT interfaces running on GeForce RTX, Jetson, and RTX/DGX Spark. Experiments on 21 benchmarks show that Nemotron 3.5 Bolt E4B 4GB achieves the highest average accuracy while generating the fewest output tokens in both reasoning and non-reasoning modes, compared with Gemma-4-E4B-it and Qwen3.5-4B. The model is released with a DFlash drafter. With DFlash, Bolt E4B achieves $2.74\times$ the per-user decode speed of inference without speculative decoding at concurrency~1, and $1.21\times$ the generation throughput of Gemma-4-E4B-it with MTP at batch size 1.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI