NVIDIA 开放 Nemotron 3.5 Bolt E4B：4GB 级端侧对话与工具调用模型

NVIDIA 10 月 23 日在 Hugging Face 发布 Nemotron 3.5 Bolt E4B 4GB，基于 Gemma-4-E4B-it 后训练，总参数 8B、有效参数 4B，文本输入输出，输入输出各最长 64K token，提供 Q4_K_M 量化版本。它面向端侧语音助手、互动角色和嵌入式界面，强调多轮工具调用、指令遵循和基于输入作答。

要点

• 官方用 NeMo Gym 自测（BF16）：MultiChallenge 53.1（Gemma 4 E4B-it 为 42.08）、RoleBench 67.05（49.95）、IHEval 84.79（67.04）
• 并非全面领先：Tau2-Bench 为 55.10，同表 Qwen3.5 4B 为 75.06
• 可用 enable_thinking 开关思考模式并设置思考预算；conversational_mode 让回复更短、格式更少
• 许可证为 OpenMDW-1.1，支持 llama.cpp、vLLM、SGLang、Ollama、LM Studio 等运行方式

来源

### [NVIDIA 开放 Nemotron 3.5 Bolt E4B：4GB 级端侧对话与工具调用模型]({{URL}})

NVIDIA 10 月 23 日在 Hugging Face 发布 Nemotron 3.5 Bolt E4B 4GB，基于 Gemma-4-E4B-it 后训练，总参数 8B、有效参数 4B，文本输入输出，输入输出各最长 64K token，提供 Q4_K_M 量化版本。它面向端侧语音助手、互动角色和嵌入式界面，强调多轮工具调用、指令遵循和基于输入作答。

- 官方用 NeMo Gym 自测（BF16）：MultiChallenge 53.1（Gemma 4 E4B-it 为 42.08）、RoleBench 67.05（49.95）、IHEval 84.79（67.04）
- 并非全面领先：Tau2-Bench 为 55.10，同表 Qwen3.5 4B 为 75.06
- 可用 enable_thinking 开关思考模式并设置思考预算；conversational_mode 让回复更短、格式更少
- 许可证为 OpenMDW-1.1，支持 llama.cpp、vLLM、SGLang、Ollama、LM Studio 等运行方式

**为什么值得关注**：适合想在本地或设备上做语音助手、游戏角色、机器人对话的团队，量化后体积小，能直接用常见推理框架跑起来；复杂 Agent 任务上它不如同级别的 Qwen3.5 4B，选型前要按场景复测。

来源：[nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB)