中/EN
实战 SOP
实战 SOP

Nemotron 3.5 Bolt 本地部署：74B 塞进 24GB 三条路

NVIDIA 于 2026 年 10 月 15 日发布 Nemotron 3.5 Bolt 74B-A9B 24GB：由 120B 的 Super VL 经 Star Elastic 预算条件化架构搜索压缩而来（专家路由 top-K 从 22 降到 9，蒸馏恢复训练 120B tokens），Mamba-2 与 Transformer 混合架构，量化方案是关键——占权重大头的专家层压到 IQ2_XXS 每元素 2.0625 bit（约 19GB），Mamba 线性层用 NVFP4，lm_head、词嵌入与注意力保持 Q8_0，全模型落在 22 至 24GB，精度靠 QAD 量化感知蒸馏从压缩阶段一路找回。本文给四条部署路线实录：Ollama（0.40.5 起支持，ollama run nemotron-3.5-bolt，25GB 下载，ollama ps 验证 100% GPU）；Unsloth（UD-IQ2_XXS 约 22GB、UD-IQ1_M 约 20.3GB，ctx 从 4096 保守起步）；llama.cpp 官方配方（需 10 月 15 日后构建才认识 nemotron_h_moe 架构，28GB 配方 65K 上下文加 8-bit KV 加 6 个草稿 token，32GB 配方上 262K；b11521 起 llama-server 默认端口改为 9931）；vLLM（Blackwell SM120 配 LiLiCorr drafter，服务端多用户场景）。显存账本与两条上下文起步口径并存：裸模型 16K-32K 起步，Unsloth 因默认带 1-2GB draft model 建议 4K 起步。排障八条覆盖 OOM 砍上下文、层落系统内存、漏 --mmproj、max_tokens 16384 共享预算截断等。许可证 OpenMDW-1.1：免费无限制商用、输出物不受限、再分发须保留版权声明、含专利报复条款。厂商自报 GPQA Diamond 86.4、Terminal-Bench 2.1 51.0、PinchBench 公开榜同级第一（RTX Spark 实测 83.99 TPS，消费卡无官方数据）；4GB 的 Bolt E4B 于 10 月 23 日接档发布。

发布于 2026年10月23日8 分钟阅读
<!-- nemotron-3-5-bolt-local-deploy-sop | sop | Nemotron 3.5 Bolt 本地部署：74B 塞进 24GB 三条路 -->

想在桌上跑一个能干 agent 活的大模型，通常要二选一：云端 API 好用，但代码和数据得出域；本地塞一个显存装得下的小模型，能力又常常不够用。NVIDIA 在 2026 年 10 月 15 日发布的 Nemotron 3.5 Bolt 74B-A9B 24GB 就是冲着这道缝来的：74B 总参数的 MoE，激活只有 9B，靠一套压到 2.0625 bit 的混精度量化，把完整模型塞进单张 24GB 卡，官方口径下能承担工具调用、浏览器操作这类 agent 任务。

这篇 SOP 先把账算给你看（24GB 到底怎么装下 74B），再给出 Ollama、Unsloth、llama.cpp、vLLM 四条部署路线的实录命令，附显存账本、上下文策略、排障清单与许可证要点。所有数字与命令出自 NVIDIA 官方技术页与模型卡口径，凡厂商自报的分数一律标注。

一、先算清这笔账：24GB 怎么装下 74B

Nemotron 3.5 Bolt 不是从零训练的模型，而是压缩产物。母本是 Nemotron 3.5 Super VL（120B 总参、12B 激活的多模态模型），NVIDIA 用 Star Elastic 框架做预算条件化架构搜索加端到端压缩，专家路由的 top-K 从母模型的 22 降到 9，压缩后再用蒸馏恢复训练 120B tokens（72B 在 8K 上下文、48B 在 128K 上下文）。架构上它是 Mamba-2 与 Transformer 的混合体，带 C-RADIO v4-H 视觉编码器，能读文本、图像和视频，但只输出文本。

显存账本的关键在量化方案。74B 参数里专家层占大头，NVIDIA 把 routed 与 shared 专家层全部压到 IQ2_XXS，每元素 2.0625 bit，算下来 74B 乘 2.06 bit 约 19GB；Mamba 线性层用 NVFP4；lm_head、词嵌入、注意力和 Latent MoE 权重保持 Q8_0。全部相加，权重文件落在 22 至 24GB 的低位段。量化损失的精度靠 QAD 量化感知蒸馏找回，且只量化权重不量化激活，因为在 RTX 与 DGX Spark 这类设备上推理以权重带宽为主导。

这套打法的官方话术是：2-bit 的 74B 压缩模型，优于同显存下从零训练再 4-bit 量化的更小模型。厂商自报的对比分数这么摆：GPQA Diamond 86.4（同显存档 Qwen3.6-35B-A3B 跑 4-bit 是 83.4）、Terminal-Bench 2.1 拿 51.0、BrowseComp 66.8、WebArena 50.9；目标场景是 24GB 内存内、80 TPS 以上解码、与日常应用共存。PinchBench 公开榜第一、WebArena 与 BrowseComp 第二也均为官方自报口径，目前没有第三方复测，引用时记住这一点。

其他关键事实：原生上下文 262144 tokens（模型卡上限，实际可用看显存）；支持英、中、日、韩、法、德、西、意、印地、巴西葡语 10 种语言；后训练数据截止 2026 年 5 月；投机解码配 1.13B 的 LiLiCorr drafter，GGUF 实测磁盘约 0.92GB，vLLM 下 7 个草稿 token、并发 64 时 greedy 解码平均接受长度 4.68（该数字绑定此测量条件）。

整条训练管线分五阶段：Star Elastic 蒸馏压缩、视觉适配器微调、视觉重型 SFT、RLHF 加端到端 GRPO（在 MCP 与 SWE 的 agent 环境里跑）、最后 ModelOpt 2-bit 专家量化加 QAD。预训练加续训约 26 万亿 tokens，后训练样本约 380 万条。这套流程解释了一个问题：为什么 2-bit 量化后分数没有塌——精度不是量化时才补救的，而是从压缩那一刻起就用蒸馏一路跟着训。

速度方面再看一组官方口径的对照：RTX Spark 上 AIPerf SPEED-Bench-Coding 实测 Bolt 83.99 TPS，低于 Qwen3.6-35B-A3B 的 96.63 和 Gemma 4 26B-A4B 的 100.56；但在 agent 回放（AA AgentPerf Local）里 Bolt 用时 600.80 秒，好于 Qwen3.8-27B 的 1043.28 秒，逊于 Qwen3.6 的 453.97 秒。判读是：纯吐字速度它不占优，长链条 agent 任务里它的分数与稳定性才是卖点。

二、动手前清单

硬件档位先对号入座：

  1. 单张 24GB 卡（RTX 4090、3090 一档）：跑得动，但权重已占满显存。推荐换更小的 Unsloth UD-IQ2_XXS（约 22GB）或 UD-IQ1_M（约 20.3GB）量化，上下文 16K 到 32K 起步，系统 RAM 建议 64GB 兜底。
  2. 32GB 显存卡：走 llama.cpp 官方 28GB 配方，65K 上下文加 8-bit KV cache 刚好塞下。
  3. 48GB 以上显存，或 128GB 统一内存的 RTX Spark、DGX Spark：可上 262K 满上下文配方。RTX Spark 上官方实测 83.99 TPS（IQ2_XXS 加 LiLiCorr，llama.cpp，Windows 11 ARM 环境），消费卡没有官方 TPS 数据，媒体明确提醒不代表所有 GeForce GPU 可复现。
  4. Mac：官方路线 CUDA 优先，Ollama 明确不支持 Apple Silicon；非官方路径只有 Unsloth Desktop（macOS 可用）与社区 MLX 转换。
  5. 16GB 及以下显存或内存：官方口径不合适，换更小的模型。

软件版本两个硬门槛：Ollama 需要 0.40.5 及以上（2026 年 10 月 14 日起支持）；llama.cpp 需要 2026 年 10 月 15 日之后的构建，旧版不认识 nemotron_h_moe 架构。磁盘预留 25GB 左右，外加 drafter 约 1GB。

三、部署路线实录：三条本地路，加一条服务端

路线 A：Ollama，最省事

bash
# 需 Ollama >= 0.40.5（2026-10-14 起支持）
ollama run nemotron-3.5-bolt
ollama ps

官方库有 latest、74b-a9b、74b-a9b-iq2 三个 tag，均为 25GB 下载、256K 上下文、带视觉与工具与思考模式。跑起来后用 ollama ps 确认 100% GPU，出现 15%/85% 这类 CPU/GPU 分裂，说明有层落进了系统内存，速度会明显掉。

会话内调上下文与思考开关：

text
/set parameter num_ctx 32768
/set nothink

/set nothink 用于快答时关思考，/set think 恢复。图像直接把路径发给它即可，比如让它看一张报错截图。想省显存可以拉 Unsloth 的量化版：

bash
ollama run hf.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF:UD-IQ2_XXS

要把它接进编码工具当大脑：

bash
ollama launch claude --model nemotron-3.5-bolt
ollama launch opencode --model nemotron-3.5-bolt

路线 B：Unsloth，24GB 卡首选

bash
unsloth run --model unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF:IQ2_XXS --ctx-size 4096

Unsloth Desktop 里直接搜 Nemotron 3.5 Bolt 也能下 IQ2_XXS。两个注意点：默认附带小 draft model 提速，额外吃 1 到 2GB 内存；官方建议 32GB RAM 或统一内存起步，48 到 64GB 更从容。上下文从 4096 起步是 Unsloth 与 techpilot 的保守口径，内存富余再往上加。

路线 C：llama.cpp，NVIDIA 官方配方

先编译，Windows 要手动指定 CUDA 架构（50 系 120、40 系 89、Spark 121）：

bash
cmake -B build -DGGML_CUDA=ON && cmake --build build --config Release -j

下载三个文件：主模型、视觉投影 mmproj、drafter：

bash
pip install -U huggingface_hub
hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF \
  NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf \
  mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf --local-dir ./bolt
hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF \
  NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf --local-dir ./bolt

面向 32GB 显存卡的 28GB 配方（65K 上下文、8-bit KV、6 个草稿 token）：

bash
./build/bin/llama-server \
  --model ./bolt/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf \
  --mmproj ./bolt/mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf \
  --spec-type draft-dflash --spec-draft-n-max 6 \
  --spec-draft-model ./bolt/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf --spec-draft-ngl 999 \
  --ctx-size 65536 --parallel 1 --batch-size 2048 --ubatch-size 512 \
  --cache-type-k q8_0 --cache-type-v q8_0 \
  -ngl 999 --flash-attn on --jinja --temp 1.0 --top-p 0.95 --port 8080

48GB 以上或 128GB Spark 的满血配方把参数换成 --ctx-size 262144、--spec-draft-n-max 7、--batch-size 4096、--ubatch-size 2048。三个要点：推荐采样温度 1.0、top_p 0.95；思考开关走 chat template 的 enable_thinking（true 或 false），另有 medium_effort 中间档；推理与答案共享 max_tokens 预算，官方示例用 16384，给小了答案会被截断。另注意 llama.cpp 自 b11521（2026 年 10 月 9 日）起 llama-server 默认端口从 8080 改成 9931，以启动时打印的端口为准，工具链写死端口的记得加 --port，OpenAI 兼容 API 在 /v1。

路线 D：vLLM，服务端与多用户

vLLM 要求指定 nightly 镜像版本，目标模型本体支持 Ampere A100、Hopper H100、Blackwell，但配上 drafter 后实际落到 Blackwell SM120（含 DGX Spark GB10）。它适合一机多用户和视频输入场景，聊天类应用大多还不支持视频输入。最短验证命令：

bash
vllm serve "nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB"

完整启动参数很长（fp8 KV cache、b12x 内核、dflash 投机解码配置等），模型卡给了完整命令，照抄即可，此处不展开。

四、显存账本与上下文策略

运行时分解（32GB 卡 28GB 配方口径）：权重约 22 至 24GB；mmproj 一小块；drafter 约 1GB，内存紧张时第一个砍；KV cache 随上下文增长，8-bit KV 让 65536 上下文塞得下，而且 hybrid 架构只有少数 attention 层有增长 cache，Mamba 层不需要；桌面系统占 1 到 2GB。实测 64K 上下文在 32GB 卡上用掉约 28GB，配方名里的 28GB 就是留 headroom 的意思。

24GB 卡的上下文起步有两条口径，原因不同，都要知道：

  • 16K 到 32K 起步：按裸模型算，权重已占满 24GB，能给 KV 的空间很小，这是 Ollama 与裸 GGUF 路线的建议值。
  • 4096 起步：Unsloth 与 techpilot 的保守口径，因为 Unsloth 默认再带 1 到 2GB 的 draft model，而且长上下文加图像输入正是 24GB 卡最容易被推爆的组合，techpilot 的原话是崩了或变卡就先降上下文，别的都别动。

一句话口诀出自官方社区讨论：长文档任务丢 drafter 保上下文，快聊天任务保 drafter 砍上下文。

还有一点值得单独说：模型卡写着 256K 上下文，不等于你就能开 256K。上下文是 prompt、图像、对话、工具调用与生成共享的，KV cache 全要显存来换；Mamba-2 混合架构的好处是只有少数 attention 层有随上下文线性增长的 cache，Mamba 层不需要，这让它比同尺寸纯 Transformer 省得多，但省不等于免费。经验法则是每次把上下文翻倍前，先看一眼当前显存余量，留两成以上再动。

五、排障清单

  1. CUDA OOM：先砍 --ctx-size，保住 --cache-type-k/v q8_0，再不行摘 drafter（去掉 --spec-* 旗标，省约 1GB）。
  2. 生成速度远低于预期：大概率有层落进系统内存。Ollama 用 ollama ps 看是否 100% GPU；llama.cpp 路线降上下文，或关掉占显存的其他程序。
  3. 图像输入被无视：llama.cpp 命令漏了 --mmproj，这是最常踩的漏参。
  4. 报错不认识 nemotron_h_moe：llama.cpp 版本太旧，换 2026 年 10 月 15 日之后的构建；Windows 记得指定 CMAKE_CUDA_ARCHITECTURES。
  5. 连不上服务：先确认端口，b11521 起 llama-server 默认 9931 而不是 8080。
  6. 答案被拦腰截断：max_tokens 太小，推理与答案共享预算，官方示例 16384。
  7. 24GB 卡又开长上下文又传图必爆：两者只能二选一，或者上更大显存。
  8. 能力预期管理：2-bit 是折衷，NVIDIA 自我定位是对多数任务够聪明、但不是自家最聪明的模型，且所有排名为厂商自报，别拿它跟旗舰 API 直接对位。

六、许可证：OpenMDW-1.1 意味着什么

Nemotron 3.5 Bolt 采用 OpenMDW-1.1 许可证（Linux Foundation 2026 年 5 月 28 日发布，NVIDIA 在 Nemotron 全家族采用），模型卡明示可用于商业与非商业用途。对部署者要紧的几条：

  • 免费且无限制使用，覆盖版权、专利、数据库与商业秘密权利，无领域限制、无营收门槛；
  • 模型输出不受任何限制，用它生成的代码与文档归你自己处置；
  • 再分发模型材料本身时须附许可协议副本，并保留全部版权与来源声明，义务只约束再分发、不约束输出物；
  • 专利报复条款：主动起诉模型材料侵犯专利或版权（防御性反诉除外），授权即终止；
  • 无担保，第三方权利清障与尽调是用户自己的责任；
  • 可拿 BF16 权重微调后发布成品，社区再量化、再打包也无需 NVIDIA 另行授权。

NVIDIA 还在往下铺产品线：更小的 Bolt E4B（4GB 级）定档 2026 年 10 月 23 日发布，面向 GeForce、Jetson 与 RTX/DGX Spark，定位本地语音助手、交互式角色与嵌入式界面，4GB 的目标是给宿主应用和其他模型留内存，总参与激活参数官方未公布。母本 Super VL 120B 走企业常驻多模态智能体方向，处理 OCR、表格、文档与视频理解，官方称已有 30 多家企业基于它做后训练，还提醒一句：官方说它微调后在特定任务上超过某些旗舰闭源模型，这是专门适配过的任务与通用模型的不对称比较，别直接当通用结论。家族分工是 Bolt 管日常本地 agent、Lightning（30B-A3B）管高吞吐执行、Super 管多模态推理、Ultra 管最难推理，四档互不替代。企业生产部署另有 NIM 容器微服务路线，提供 OpenAI 兼容端点，本文不展开。

仓库在这里：huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB，GGUF 版与 drafter 分别在同系列 -24GB-GGUF、-24GB-LiLiCorr-GGUF 仓库。明文地址再写一遍方便复制：huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB。

FAQ

Q1：24GB 显存真的能跑 74B 吗，还是只能演示？ A：能跑，但账要算清：专家层压到 2.0625 bit 后约 19GB，全模型权重 22 至 24GB，24GB 卡装满后几乎没有余量。所以 24GB 卡的推荐姿势是换 22GB 的 UD-IQ2_XXS 量化、上下文 16K 到 32K 起步，agent 任务可跑，别指望同时开满 256K 上下文。

Q2：2-bit 量化会不会把模型用废？ A：存在能力折衷，NVIDIA 自己的定位是对多数任务够聪明、但不是自家最聪明的模型。精度损失靠 QAD 量化感知蒸馏找回，厂商自报 GPQA Diamond 86.4 高于同显存档 4-bit 小模型，但所有分数均无第三方复测，关键业务先跑自己的回归集再下结论。

Q3：Mac 能跑吗？ A：官方路线 CUDA 优先，Ollama 明确不支持 Apple Silicon。Mac 上的非官方路径只有 Unsloth Desktop（macOS 可用）与社区 MLX 转换，均无官方性能口径。

Q4：商用要向 NVIDIA 付费或申请授权吗？ A：不用。OpenMDW-1.1 免费且无限制，含商用，输出物也不受限。义务只有再分发模型材料时附许可副本、保留版权与来源声明；注意专利报复条款，主动起诉模型材料侵权会终止授权。

Q5：24GB 卡起跑上下文该设 4K 还是 16K？ A：两条口径都有依据。Unsloth 路线默认带 draft model 再吃 1 到 2GB，官方建议从 4096 起步；裸 GGUF 或 Ollama 路线按权重已占满 24GB 算，16K 到 32K 起步。稳妥做法是从 4K 跑通后逐级上探，全程盯住显存余量。

延伸阅读

本文由 AI 辅助生成，经人工审核编辑。最后更新：2026-10-23

常见问题

24GB 显存真的能跑 74B 吗，还是只能演示？
能跑，但账要算清：专家层压到 2.0625 bit 后约 19GB，全模型权重 22 至 24GB，24GB 卡装满后几乎没有余量。所以 24GB 卡的推荐姿势是换 22GB 的 UD-IQ2_XXS 量化、上下文 16K 到 32K 起步，agent 任务可跑，别指望同时开满 256K 上下文。
2-bit 量化会不会把模型用废？
存在能力折衷，NVIDIA 自己的定位是对多数任务够聪明、但不是自家最聪明的模型。精度损失靠 QAD 量化感知蒸馏找回，厂商自报 GPQA Diamond 86.4 高于同显存档 4-bit 小模型，但所有分数均无第三方复测，关键业务先跑自己的回归集再下结论。
Mac 能跑吗？
官方路线 CUDA 优先，Ollama 明确不支持 Apple Silicon。Mac 上的非官方路径只有 Unsloth Desktop（macOS 可用）与社区 MLX 转换，均无官方性能口径。
商用要向 NVIDIA 付费或申请授权吗？
不用。OpenMDW-1.1 免费且无限制，含商用，输出物也不受限。义务只有再分发模型材料时附许可副本、保留版权与来源声明；注意专利报复条款，主动起诉模型材料侵权会终止授权。
24GB 卡起跑上下文该设 4K 还是 16K？
两条口径都有依据。Unsloth 路线默认带 draft model 再吃 1 到 2GB，官方建议从 4096 起步；裸 GGUF 或 Ollama 路线按权重已占满 24GB 算，16K 到 32K 起步。稳妥做法是从 4K 跑通后逐级上探，全程盯住显存余量。

相关文章

实战 SOP

428B 开源了，先备 8 张 H100：M3.1 Flash 部署实录

M3.1 Flash（428B/A23B）本地部署实录。先泼冷水：官方没有任何消费级或单卡配方，vLLM recipe 与 SGLang cookbook 验证过的最小档是 4 张 Blackwell（B200/B300/GB200/GB300，TP4）、4 张 AMD MI355X（TP4）或整机 8 张 H100/H200（TP8，FP8 路径）。权重从 HF 或魔搭下载（公开、非 gated），体积三口径并存：社区口径 252.4GB/48 分片加 2.3GB DSpark 草稿头，vLLM recipe 另列 NVFP4 285GB、MXFP4 293GB、FP8 533GB；官方无独立量化仓。vLLM 需 0.33.0 及以上（发布当日不在 PyPI，用 Docker 镜像 vllm/vllm-openai:minimax-m31-flash 或 nightly），三条官方命令逐字实录：H100/H200 TP8、GB200 TP4、MI355X TP4，均强制 --block-size 128 与 --disable-hybrid-kv-cache-manager（漏掉会报 No common block size for 16）；1M 上下文靠 --max-model-len 放开（Hopper 官方示例限 262144）。SGLang 尚未合入 main（Blackwell 需装 MSA 内核 pinned commit 且 nvcc 不低于 13.4，cu130 不算数）。显存账本：BF16 全量约 856GB 为推算口径非官方；激活 23B 只降算力不降显存门槛——428B 的专家必须全部驻留，这就是消费级不可行的根因；1M 上下文的 KV cache 总量官方未公布。国产算力走 FlagOS Day-0 九芯片（含华为昇腾，SGLang-plugin-FL 路径），性能数字标 FlagOS 官方口径。排障 13 条官方预置口径全收：hugepages 560GiB、B200 OOM、parser 拼写差异等，每条带解法。许可 MiniMax Community License：商用署名加 2000 万美元门槛。一句话现实：428B 开源了，先备 8 张 H100。

2026年10月24日9 分钟阅读
实战 SOP

Xing4.0-29B-Intent 部署：29B 只跑 4B，命令抄哪条

把 Xing4.0-29B-Intent 跑起来的关键，是官方部署说明其实不在本仓库而在基座仓库：意图仓库 README 只给一句替换说明，完整 vLLM 与 SGLang 启动命令需从基座 Xing4.0-29B-A4B 搬，再把模型路径换成 Xing4.0-29B-Intent 权重路径并把 --served-model-name 设为 Xing4.0-29B-Intent。命令里几个参数是硬门槛：--trust-remote-code 必须加（model_type 为自研 xing4_0，非 llama 非 qwen），--tensor-parallel-size 2 意味着至少两卡，--max-model-len 262144 对应 256K 上下文，--reasoning-parser xing4_0 与 --tool-call-parser xing4_0 配套解析器，--speculative-config 用 mtp 方法，--gpu-memory-utilization 0.90 与 --max-num-seqs 4 是官方示例配比。权重 41 个 safetensors 分片共 62.43 GB，官方量化只有 FP8（33.17 GB，e4m3）与 GGUF（IQ4_NL 单文件 17.75 GB），没有 AWQ、GPTQ 或 INT8 safetensors。显存官方完全未公布，只说按实际环境配置；基座层给出的是必须 bfloat16（mHC 模式要求，FP16 或量化路径会报错）、暂不支持 --pipeline-parallel-size 大于 1、CUDA 上 mHC 路径需装 tilelang、宿主机需 Docker 24.0 以上与驱动 535 以上；昇腾路线明说需 910B2 系列 NPU 至少两张卡，并提供 quay.io 上三款官方镜像（镜像不含权重需自行挂载）。消费级与 CPU 路径只在基座 llama.cpp 文档里出现：int4 权重用 IQ4_NL 量化后约 19 GB，可在单张消费级 GPU 上跑，示例卡 RTX 3090 24 GB。SDK 只是 httpx HTTP 客户端、未发 PyPI；结构化输出两层：模型原生 category + args 数组，以及 SDK 开启 guided_json 后自动生成 JSON Schema 走 vLLM response_format 约束解码。许可虽为 Apache-2.0，但权重侧无独立 LICENSE 文件、仓库 LICENSE 是未填版权人的占位模板、61 个上游数据集原许可仍需自行核对。

2026年10月22日9 分钟阅读