NVIDIA 发布 Nemotron 3.5 Bolt：74B MoE 压进 24GB 本地运行
NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Bolt 74B-A9B 24GB，这是从 Nemotron 3.5 Super VL 120B-A12B 压缩而来的 Mamba-2/Transformer 混合 LatentMoE 多模态模型，总参数 74B、激活 9B，采用 2-bit（IQ2）量化的 24GB 打包检查点，目标是在 24GB 内存内本地运行。
要点
- 上下文最长 256K token，许可证为 OpenMDW-1.1，允许商用
- 模型卡对比显示 GPQA Diamond 86.43、Terminal-Bench 2.1 50.98、BrowseComp 66.75，多数项高于 Qwen3.6-35B-A3B
- 也有落后项：PinchBench 略低于 Qwen3.6，AA-Omniscience 准确率低于 Gemma4
- 模型卡中关于部署硬件的描述前后不完全一致，需以实际测试为准
为什么值得关注
「架构搜索 + 极低比特量化」让中大型 MoE 能在单卡或高配笔记本上运行，适合关注本地 Agent 的团队评测。
来源
### [NVIDIA 发布 Nemotron 3.5 Bolt：74B MoE 压进 24GB 本地运行]({{URL}})
NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Bolt 74B-A9B 24GB，这是从 Nemotron 3.5 Super VL 120B-A12B 压缩而来的 Mamba-2/Transformer 混合 LatentMoE 多模态模型，总参数 74B、激活 9B，采用 2-bit（IQ2）量化的 24GB 打包检查点，目标是在 24GB 内存内本地运行。
- 上下文最长 256K token，许可证为 OpenMDW-1.1，允许商用
- 模型卡对比显示 GPQA Diamond 86.43、Terminal-Bench 2.1 50.98、BrowseComp 66.75，多数项高于 Qwen3.6-35B-A3B
- 也有落后项：PinchBench 略低于 Qwen3.6，AA-Omniscience 准确率低于 Gemma4
- 模型卡中关于部署硬件的描述前后不完全一致，需以实际测试为准
**为什么值得关注**：「架构搜索 + 极低比特量化」让中大型 MoE 能在单卡或高配笔记本上运行，适合关注本地 Agent 的团队评测。
来源：[NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB 模型卡](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB)