宣传说第一,自家表里第二:24GB 跑 agent 怎么选
24GB 单卡跑本地 agent,该把大模型压到 2 比特,还是让原生小模型用 4 比特?主角是 NVIDIA 于 2026-10-15 发布的 Nemotron 3.5 Bolt 74B-A9B 24GB:它由 Nemotron 3.5 Super VL(120B-A12B)经 Star Elastic 压缩而来(router-guided 架构搜索,MoE top-K 由父模型 22 固定降到 9,搜索目标部署足迹低于 24GB),再用 QAD 量化感知蒸馏把精度捞回,专家权重压到 IQ2_XXS 每元素 2.0625 比特,配 1.13B 的 LiLiCorr 投机解码 drafter(7 个 draft token、vLLM 并发 64,greedy 接受长度 4.68、概率采样 4.25)。NVIDIA 的设计目标是显存 24GB 下解码速度不低于 80 TPS,AIPerf SPEED-Bench 实测 84 TPS。对照三款:Qwen3.6-35B-A3B(262K 上下文、3B 激活、Apache 2.0)、Gemma 4 26B-A4B(256K、约 4B 激活、Apache 2.0)、Nemotron 3.5 Lightning 30B-A3B(自家兄弟,作幻觉对照)。三条曲线互相打架,这是本文的骨架:智力每 GB 上 Bolt 领先,Artificial Analysis Intelligence Index 给 21 分、在 67 款同比较类模型中排第 4(二手转述 AA 数据,且测的是真正的 2bit checkpoint 而非 BF16 参考构建);吞吐上它落后,NVIDIA 自家在 llama.cpp、Windows 11 ARM64、Surface Laptop Ultra 128GB 上测得 AIPerf SPEED-Bench-Coding 为 Bolt 83.99 TPS,低于 Qwen3.6 的 96.63 与 Gemma 4 的 100.56,端到端 agent 轨迹回放时长为 600.80 秒,慢于 453.97 与 480.68;幻觉相关指标也输,模型卡上 AA-Omniscience accuracy 为 16.90,低于 Gemma 4 的 22.17,非幻觉率 61.27 低于自家 Lightning 30B-A3B 的 68.81。榜单口径存在内部张力:公告称 Bolt 是 PinchBench 同类开放模型第一,但同一张 model card 上 Qwen3.6-35B-A3B 为 88.07、Bolt 为 87.82,差 0.25 分而顺序出自 NVIDIA 自己的表;两种解读必须并列——in its class 若指 2bit 精度类别则 Qwen3.6 的 BF16 不属同类,若指 24GB 内存足迹类别则宣传与表格自相矛盾,本文不断言厂商造假。许可证为 OpenMDW-1.1,授予使用、修改与再分发,条件是保留许可与声明,起诉称侵权则权利终止。它没有托管 API、没有 per-token 定价,也没有第三方延迟测量。结论按场景分流:数据不能出楼的选 Bolt,要吞吐与并发选 Qwen3.6 或 Gemma 4,要更低幻觉再评估 Lightning。与站内 10-10《本地编程模型四强》和 10-12《五条显存路线》的分工:本文不重复显存分层与省显存手段,只谈 24GB 单卡上的压缩路线之争。