2026 年 10 月 15 日，NVIDIA 给本地 agent 玩家递了一张牌：Nemotron 3.5 Bolt 74B-A9B，24GB 内存跑 74B 参数。公告里的定语很足——「the #1 open model in its class on PinchBench」。
翻到同一份 model card 的对照表，第四行写着：Qwen3.6-35B-A3B，88.07；Bolt，87.82。
0.25 分。
这不是在抓厂商造假。两个数字都印在 NVIDIA 自己的表上，输的那三行一行没删。真正值得拆的是「in its class」这四个字：它决定了这张表到底在比什么。
本文只问一个问题：同样是 24GB，把 120B 压到 2 比特塞进来，和原生 26B 到 35B 用 4 比特跑，哪条路线更值得装。
一、先把口径钉住
四个主角，四列不同的精度：
Nemotron 3.5 Bolt 74B-A9B：由 Nemotron 3.5 Super VL（120B-A12B）经 Star Elastic 压缩、再经 QAD 量化而来，专家权重压到 IQ2_XXS，2.0625 bits/element，部署足迹 24GB。MoE 混合 Mamba-Transformer 架构，model card 写的是 LatentMoE 加 C-RADIO v4-H 视觉编码器，输入支持文本、图像、视频，上下文 256K。它是 VLM，不是纯文本模型。权重、GGUF 与 LiLiCorr drafter 都在 Hugging Face 的 nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB，仓库地址：huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB。
Qwen3.6-35B-A3B：35B 总参、3B 激活，混合 MoE 加多模态，上下文 262K（可扩至约 1.01M），Apache 2.0，4 比特下约 23GB。
Gemma 4 26B-A4B：约 26.5B 总参、约 4B 激活，上下文 256K，Apache 2.0，4 比特 GGUF 16.95GB。
Nemotron 3.5 Lightning 30B-A3B：8 月发布，主打高吞吐文本任务，本篇用它当幻觉对照。
| 项 | Bolt 74B-A9B | Qwen3.6-35B-A3B | Gemma 4 26B-A4B | Lightning 30B-A3B |
|---|---|---|---|---|
| 总参 / 激活 | 74B / 9B | 35B / 3B | 约 26.5B / 约 4B | 30B / 3B |
| 架构 | MoE 混合 Mamba-Transformer，LatentMoE | 混合 MoE，多模态 | MoE，多模态 | MoE，文本为主 |
| 输入 | 文本 / 图像 / 视频 | 多模态 | 多模态 | 文本 |
| 上下文 | 256K | 262K（可扩至约 1.01M） | 256K | 未列出 |
| 本表精度 | IQ2_XXS 混合精度 | BF16 | BF16 | BF16 |
| 24GB 内形态 | 部署足迹 24GB | 4 比特约 23GB | 4 比特 GGUF 16.95GB | 未列出 |
| 许可 | OpenMDW-1.1 | Apache 2.0 | Apache 2.0 | 未列出 |
这张表最容易看错的地方是「精度」那一行：Bolt 是 2 比特，其余三列是 BF16。NVIDIA 自述选对照机型的理由不是同精度，而是「能在 24GB 内存内以 4 比特量化运行」。也就是说，这张表比的是「同预算下的最优工程配置」，不是同精度对拍。
站内分工：10 月 10 日《本地编程模型四强》按显存分层选机，10 月 12 日《显存差一半就跑不动》讲省显存手段；本篇只比路线。
二、Bolt 自己输掉的三行
一张厂商自测表最可信的部分，往往是它没删掉的败绩。Bolt 的 model card 上有三行自己输的，输得不难看，但确实是输：
| Benchmark | Bolt 74B-A9B (IQ2) | Qwen3.6-35B-A3B | Gemma 4 26B-A4B | Lightning 30B-A3B |
|---|---|---|---|---|
| BrowseComp | 66.75 | 48.74 | 26.30 | 未列出 |
| Terminal-Bench 2.1 | 50.98 | 44.38 | 37.22 | 未列出 |
| GPQA Diamond | 86.43 | 83.40 | 79.61 | 未列出 |
| PinchBench | 87.82 | 88.07 | 74.70 | 未列出 |
| AA-Omniscience accuracy | 16.90 | 19.47 | 22.17 | 未列出 |
| AA-Omniscience 非幻觉率 | 61.27 | 未列出 | 未列出 | 68.81 |
| AA-LCR | 64.06 | 61.06 | 未列出 | 未列出 |
三条败绩，性质完全不同。
第一条，PinchBench 差 0.25 分。 Qwen3.6 88.07，Bolt 87.82。0.25 分在这个量级上基本等于打平，但它足以推翻「第一」这个绝对表述——同一张表上就有个更高的数。
第二条，AA-Omniscience 准确率差 5.27 分。 Gemma 4 是 22.17，Bolt 是 16.90，Qwen3.6 的 19.47 也在 Bolt 之上。这一项测闭卷知识问答的命中率，Bolt 排第三。原因不难猜：2 比特压的是专家权重，知识密度高的参数被压得最狠，压缩能保住推理链路，保不住记忆颗粒度。
第三条，非幻觉率差 7.54 分。 自家兄弟 Lightning 30B-A3B 是 68.81，Bolt 是 61.27。这两项要分开看：准确率问「答对的占多少」，非幻觉率问「不知道的时候愿不愿意说不知道」。Bolt 两项都靠后，意味着它在知识边界外更容易编一个看起来合理的答案。对 agent 来说这更麻烦——它会把编出来的中间结论当成事实继续执行。
七行连起来读：过程型任务它领先（BrowseComp 高 18 分，Terminal-Bench 高 6.6 分），事实型任务它落后。这不是随机误差，是压缩路线的系统性偏置。
三、「in its class」到底指什么
NVIDIA 的公告说 Bolt 是「the #1 open model in its class on PinchBench」，同一份 model card 上 Qwen3.6 的分数更高。这两句话同时为真，只有一种可能：class 不是「所有 open model」。
解读一：class 指精度类别。 Bolt 是 IQ2、2.0625 bits/element，Qwen3.6 那一列是 BF16。在 2 比特这个类别里，87.82 没有对手——至少这张表上没有更高的数。按这个读法，宣传不算虚，只是省了「2 比特级」这个限定词。
解读二：class 指 24GB 内存足迹类别。 那 Qwen3.6 的 4 比特约 23GB 就落在同一类里，88.07 大于 87.82，宣传语与自家表格直接冲突。按这个读法，「第一」是个营销措辞，不是测量结论。
哪种解读是对的，NVIDIA 没有明说。同一份材料里另外两个名次倒写得比较老实：「#2 WebArena」「#2 BrowseComp」，而且都带了「similar memory footprint」这个限定。也就是说，在能明确限定内存口径的地方，它用了内存口径；偏偏在 PinchBench 这一句上，限定词消失了。
可以记成一个口径风险：看到「同类的第一」，先问同类按什么分。 按精度分和按内存分，冠军不是同一个模型。
四、74B 怎么塞进 24GB：Star Elastic、QAD 与 2.0625 比特
第一步，改结构，不是改权重。 Star Elastic 是 NVIDIA 自研的 router 引导架构搜索加端到端压缩框架。它用一个 budget-conditioned router，同时搜两个维度：每层保留多少个 routed expert，以及 MoE 中间层留多宽。搜索目标是部署足迹低于 24GB，且给下游量化留余量。结果是 top-K 从父模型的 22 固定降到 9。
top-K 22 到 9，激活参数 12B 到 9B，每个 token 过的专家少六成；总参数仍 74B，容量在，单 token 计算与访存掉了。这是 74B 能在笔电跑到 84 TPS 的结构原因——不是算得快，是算得少。
第二步，QAD 把精度捞回来。 压缩会掉点，量化会再掉一次。量化感知蒸馏（QAD）的做法是压缩完再量化，用量化后的模型去对齐父模型的输出，把两次损失一起补。这一步没有公开的消融数据，只能从结果反推：74B 压到 2 比特后 GPQA 还有 86.43，比 BF16 的 Qwen3.6（83.40）还高，说明补得回来相当一部分。
第三步，混合精度，只压该压的地方。 这一层最值得抄：
- FC1 / FC2 权重（routed expert 与 shared expert）压到 IQ2_XXS，2.0625 bits/element——这是参数量的绝对大头，也是唯一压到 2 比特的部分。
- Mamba 线性层用 NVFP4，4 比特浮点。
- lm_head、token embedding、attention 权重、LatentMoE 权重全部 Q8_0，8 比特。
按位宽粗算：74B 若整体按 2.0625 比特算，权重约 19.1GB（十进制）；实际总足迹 24GB，多出来的部分就是 Q8_0 的高敏层、视觉编码器与 KV cache 的开销。也就是说，2 比特只用在「多而钝」的专家权重上，「少而敏感」的层一律保 8 比特——这些层压坏就是整机报废，宁可占预算也不动。
第四步，投机解码把 TPS 拉回可用线。 LiLiCorr 是个 1.13B 的 drafter（不含共享 embedding 与 LM head），与目标模型联合训练。7 个 draft token，vLLM 并发 64 时，greedy 解码平均接受长度 4.68，概率采样下 4.25。按 4.68 算，一次验证步能吐 4 到 5 个 token——84 TPS 里有相当一部分是这么来的，不是目标模型自己跑得快。
这套组合的主张可以浓缩成一句话，也是 NVIDIA 引用 ParetoQ、Quest 的核心：给定内存预算，把大模型压下来，比从头训一个小模型更划算——1 到 2 比特的大网络在同等内存下比高位量化的小网络更 pareto-optimal。
这句话可检验，而且有个尴尬的事实：至今没有 NVIDIA 之外的人复现过这条曲线。 下面两节分别看它自己的速度表和唯一的第三方分数。
五、速度：在 NVIDIA 自己的表里，Bolt 也是慢的那个
测试环境先钉住，否则不可比：llama.cpp，Windows 11 ARM64，Surface Laptop Ultra，128GB 统一内存（RTX Spark）。
| 指标 | Bolt 74B-A9B<br>IQ2 + LiLiCorr | Qwen3.6 35B-A3B<br>UD-Q4_K_M + MTP | Gemma 4 26B-A4B<br>UD-Q4_K_M + MTP | Qwen3.8 27B<br>UD-Q4_K_M + DFlash |
|---|---|---|---|---|
| AIPerf SPEED-Bench-Coding TPS | 83.99 | 96.63 | 100.56 | 28.26 |
| AA AgentPerf Local 回放时长（秒） | 600.80 | 453.97 | 480.68 | 1043.28 |
三个结论。
第一，TPS 上 Bolt 排第三。 83.99 对 96.63 对 100.56，比 Qwen3.6 慢约 15%，比 Gemma 4 慢约 20%。它达到了自己设定的 ≥80 TPS 目标，但没有赢。
第二，端到端 agent 回放更难看。 AA AgentPerf Local 跑完整条 agent 轨迹：Bolt 600.80 秒，Qwen3.6 453.97 秒，Gemma 4 480.68 秒。Bolt 比 Qwen3.6 多花约 147 秒，慢 32%；比 Gemma 4 慢 25%。这条比 TPS 更有决策价值——agent 的体感不是 decode 速度，是「一件事做完要多久」，而回放里还包含 prefill、工具调用间隔和多轮拼接。
第三，分数高不等于跑得动。 Qwen3.8 27B 在 AA 公开数据里 Coding 68.1、Agentic 45.8，看着比 Gemma 4 强不少；但同一台 ARM 笔电上 TPS 只有 28.26，回放 1043.28 秒——是 Bolt 的 1.7 倍时长。dense 27B 每个 token 都要过全部参数，在统一内存笔电上是结构性吃亏。
还要点明：四列的量化与加速栈各不相同（IQ2 加 LiLiCorr、UD-Q4_K_M 加 MTP 或 DFlash）。这不是同精度对拍，而是「谁在 24GB 内用尽工程手段」。对买家是对的比法，对想推导「2 比特本身快不快」的人，回答不了。
最后纠正一个流传很广的误读：「同类最快 5 倍」是 Super VL（120B-A12B）对同类大模型的口径，不能套到 Bolt 头上。 Bolt 的目标只是 ≥80 TPS，实测 84，它没打算在速度上赢。
六、唯一一个不是 NVIDIA 给的分数
Artificial Analysis Intelligence Index 给了 Bolt 21 分，在 67 款同比较类模型中排第 4。
两个限定：这是二手转述的 AA 数据（经 orcarouter.ai 引用），但它测的是真正的 2 比特 checkpoint，不是 BF16 参考构建——这点比分数值钱，因为多数「压缩后还剩多少智力」的说法，都是拿 BF16 成绩打广告。
21 分的绝对值不高，意义在相对位置：24GB 约束里第 4。 同一套 AA 口径下，Gemma 4 26B-A4B 是 Intelligence 16.7、Coding 39.3、Agentic 2.9、GPQA 79.2、HLE 19.3、Terminal-Bench 13.6。Bolt 的 21 比它高 4.3 分。
交叉校验：Gemma 4 的 GPQA，NVIDIA 表里 79.61、AA 官方 79.2，基本对齐；Terminal-Bench 则是 37.22 对 13.6，差 23.6 分，版本、harness 与打分脚本都没披露。同一模型在两个 harness 上差 20 分以上，说明单一 benchmark 的名次不该当选型依据。
还有一条：AA 没法给 Bolt 测速度和成本，因为它没有托管 API、没有 per-token 定价。看到有人给 Bolt 报「每百万 token 多少钱」，基本可判定是编的。
七、intelligence per GB 这句话该怎么读
NVIDIA 卖的不是速度，是 intelligence per GB。它自己的速度表与这个卖点一致：慢一点，但装进去的智力更多。
但这句口号有个容易滑过去的前提：GB 是上限，不是分母游戏。
按公开数字粗算：Bolt 是 21 分 / 24GB，约 0.88 分每 GB；Gemma 4 是 16.7 分 / 16.95GB，约 0.99 分每 GB。直接相除，Gemma 反而更高。
这个算法不成立：24GB 是部署足迹（含 Q8_0 层、视觉编码器、运行时），16.95GB 只是 4 比特权重文件（不含 KV cache 与运行时），两个单位不能相除。
per-GB 只在预算真的卡死时才有决策意义。你的机器就是 24GB，多一个 GB 都装不下，问题就不是「谁每 GB 效率高」，而是「谁在天花板下给出最高绝对分」。答案：Bolt 21，Gemma 4 16.7。
预算一旦放宽到 40GB，前提就变了：4 比特的 35B、26B 有更宽的呼吸空间，2 比特压缩的性价比不再突出。NVIDIA 的论点成立与否，取决于预算是否绑定；脱离预算谈「压缩优于小模型」，是把条件句读成了陈述句。
八、按场景分流：三种活，三个答案
所以没有「谁第一」。只有「你这台机器要干什么」。
场景一：数据不能出楼，且要单机最强智力。 选 Bolt。它在 24GB 里给出 21 分，还带 256K 上下文、图像与视频输入、BrowseComp 66.75 这类检索能力。合规场景里，能跑本地本身就值很多分——病历、案卷、内部代码库不能发给任何 API。把 74B 装进 24GB 的，这张表上只此一家。
场景二：要吞吐、要并发、要多用户。 选 Qwen3.6-35B-A3B 或 Gemma 4 26B-A4B。3B 到 4B 的激活参数意味着同样的卡能扛更多并发会话，TPS 96.63 和 100.56 也高于 Bolt 的 83.99。Qwen3.6 的 262K 上下文对单机编程 agent 更顺手。
场景三：低幻觉优先。 先看 Lightning 30B-A3B（非幻觉率 68.81），再看 Gemma 4（准确率 22.17）。这两个指标解决的是不同问题：要「不知道就说不知道」，看非幻觉率；要「知道的多」，看准确率。Bolt 两项都最低，在合同比对、报表核对这类场景里，编造倾向就是实打实的运维成本。
许可这一层也得比。 Bolt 是 OpenMDW-1.1：免费、可修改、可再分发，条件是再分发时保留许可与声明；另有一条权利终止条款——如果你起诉称该模型侵犯你的专利或版权，你的权利终止。Qwen3.6 与 Gemma 4 都是 Apache 2.0。两者都允许商用，OpenMDW-1.1 还比多数自定义许可宽松，但终止条款和 Apache 2.0 的专利授权机制不是一回事，法务过一遍更稳。以上不构成法律意见。
生态与硬件。 硬件侧覆盖 RTX Spark 笔电（10 月 16 日上市，最高 128GB 统一内存、1 petaflop）、GeForce RTX PC、DGX Spark、DGX Station、RTX PRO。预装或流式接入的 agent 应用有 GitHub Copilot、OpenClaw、Perplexity、Pi 等。下一款是 Bolt E4B 4GB，10 月 23 日发布，面向语音助手与嵌入式 agent。
最后一句：2 比特压缩这条路，2026 年还处在「厂商自证」阶段。 可检验的主张、敢印败绩的表、第三方的第 4 名，都比纯 PPT 强，但复现的人还没有。等有人在 24GB 卡上独立跑出 21 分，这条路线才算立住；在那之前，它是有边界的工具，不是默认答案。
常见问题
Q1：Bolt 在 PinchBench 上到底是不是第一？ A1：取决于「class」怎么定义。按 2 比特精度类别算，87.82 在这一档里没有更高的数；按 24GB 内存足迹算，Qwen3.6-35B-A3B 的 88.07 更高，Bolt 是第二。NVIDIA 公告用的是前一种口径，但没写明限定词。两种解读都成立，本文不做造假判断，只提醒你看到「同类第一」时先问同类按什么分。
Q2：2 比特量化不会把模型压坏吗？ A2：会掉，但它不是均匀地压。IQ2_XXS 的 2.0625 bits/element 只用在 FC1/FC2 这类专家权重上；Mamba 线性层用 NVFP4；lm_head、embedding、attention、LatentMoE 权重全保 Q8_0。再加上压缩后有一轮量化感知蒸馏（QAD）对齐父模型，最终 GPQA 86.43、AA 指数 21 分。代价体现在知识回忆上：AA-Omniscience 准确率 16.90，低于 Gemma 4 的 22.17。
Q3：我手上 24GB 显存的卡能直接跑吗？ A3：官方给的 24GB 是部署足迹口径，演示机是 128GB 统一内存的 RTX Spark 笔电；官方没有逐卡兼容清单，也没给 24GB 独显上的实测。运行侧支持 llama.cpp、Ollama、LM Studio、Unsloth、vLLM，能不能装下要自己按显存、上下文长度与 KV cache 实测。别把「24GB 足迹」等同于「24GB 显卡够用」。
Q4：速度比小模型慢，为什么还推荐它？ A4：因为在预算卡死时，它换到的是绝对智力。同样 24GB，Bolt 的 AA 指数是 21，Gemma 4 是 16.7；代价是 TPS 83.99 对 100.56、回放 600.80 秒对 480.68 秒——慢 20% 左右。如果你的场景是单机、单用户、数据不出楼，20% 的速度换 4.3 分智力通常划算；如果是多人并发或批量任务，这笔账反过来。
Q5：OpenMDW-1.1 能商用吗？ A5：许可证原文授予使用、修改、再分发的权利，措辞是 free of charge、without restriction，条件是再分发时保留许可与声明。另有一条权利终止条款：若你起诉称该模型侵犯专利或版权，你的权利终止。但它的终止条款与 Apache 2.0 的专利授权机制不同，商业分发前建议法务确认。本文不构成法律意见。
延伸阅读
- 本地编程模型四强：8GB卡到8卡机各归其位：按显存分层的选机逻辑
- 显存差一半就跑不动：五条路线各能救到哪一步：五条省显存路线
- Mellum2.1本地部署SOP：24GB卡跑通12B编程agent：24GB 卡跑 agent