首页

实战 SOP

场景化落地教程,含真实截图、Prompt、工作流模板与踩坑记录。

428B 开源了,先备 8 张 H100:M3.1 Flash 部署实录

M3.1 Flash(428B/A23B)本地部署实录。先泼冷水:官方没有任何消费级或单卡配方,vLLM recipe 与 SGLang cookbook 验证过的最小档是 4 张 Blackwell(B200/B300/GB200/GB300,TP4)、4 张 AMD MI355X(TP4)或整机 8 张 H100/H200(TP8,FP8 路径)。权重从 HF 或魔搭下载(公开、非 gated),体积三口径并存:社区口径 252.4GB/48 分片加 2.3GB DSpark 草稿头,vLLM recipe 另列 NVFP4 285GB、MXFP4 293GB、FP8 533GB;官方无独立量化仓。vLLM 需 0.33.0 及以上(发布当日不在 PyPI,用 Docker 镜像 vllm/vllm-openai:minimax-m31-flash 或 nightly),三条官方命令逐字实录:H100/H200 TP8、GB200 TP4、MI355X TP4,均强制 --block-size 128 与 --disable-hybrid-kv-cache-manager(漏掉会报 No common block size for 16);1M 上下文靠 --max-model-len 放开(Hopper 官方示例限 262144)。SGLang 尚未合入 main(Blackwell 需装 MSA 内核 pinned commit 且 nvcc 不低于 13.4,cu130 不算数)。显存账本:BF16 全量约 856GB 为推算口径非官方;激活 23B 只降算力不降显存门槛——428B 的专家必须全部驻留,这就是消费级不可行的根因;1M 上下文的 KV cache 总量官方未公布。国产算力走 FlagOS Day-0 九芯片(含华为昇腾,SGLang-plugin-FL 路径),性能数字标 FlagOS 官方口径。排障 13 条官方预置口径全收:hugepages 560GiB、B200 OOM、parser 拼写差异等,每条带解法。许可 MiniMax Community License:商用署名加 2000 万美元门槛。一句话现实:428B 开源了,先备 8 张 H100。

Nemotron 3.5 Bolt 本地部署:74B 塞进 24GB 三条路

NVIDIA 于 2026 年 10 月 15 日发布 Nemotron 3.5 Bolt 74B-A9B 24GB:由 120B 的 Super VL 经 Star Elastic 预算条件化架构搜索压缩而来(专家路由 top-K 从 22 降到 9,蒸馏恢复训练 120B tokens),Mamba-2 与 Transformer 混合架构,量化方案是关键——占权重大头的专家层压到 IQ2_XXS 每元素 2.0625 bit(约 19GB),Mamba 线性层用 NVFP4,lm_head、词嵌入与注意力保持 Q8_0,全模型落在 22 至 24GB,精度靠 QAD 量化感知蒸馏从压缩阶段一路找回。本文给四条部署路线实录:Ollama(0.40.5 起支持,ollama run nemotron-3.5-bolt,25GB 下载,ollama ps 验证 100% GPU);Unsloth(UD-IQ2_XXS 约 22GB、UD-IQ1_M 约 20.3GB,ctx 从 4096 保守起步);llama.cpp 官方配方(需 10 月 15 日后构建才认识 nemotron_h_moe 架构,28GB 配方 65K 上下文加 8-bit KV 加 6 个草稿 token,32GB 配方上 262K;b11521 起 llama-server 默认端口改为 9931);vLLM(Blackwell SM120 配 LiLiCorr drafter,服务端多用户场景)。显存账本与两条上下文起步口径并存:裸模型 16K-32K 起步,Unsloth 因默认带 1-2GB draft model 建议 4K 起步。排障八条覆盖 OOM 砍上下文、层落系统内存、漏 --mmproj、max_tokens 16384 共享预算截断等。许可证 OpenMDW-1.1:免费无限制商用、输出物不受限、再分发须保留版权声明、含专利报复条款。厂商自报 GPQA Diamond 86.4、Terminal-Bench 2.1 51.0、PinchBench 公开榜同级第一(RTX Spark 实测 83.99 TPS,消费卡无官方数据);4GB 的 Bolt E4B 于 10 月 23 日接档发布。

Xing4.0-29B-Intent 部署:29B 只跑 4B,命令抄哪条

把 Xing4.0-29B-Intent 跑起来的关键,是官方部署说明其实不在本仓库而在基座仓库:意图仓库 README 只给一句替换说明,完整 vLLM 与 SGLang 启动命令需从基座 Xing4.0-29B-A4B 搬,再把模型路径换成 Xing4.0-29B-Intent 权重路径并把 --served-model-name 设为 Xing4.0-29B-Intent。命令里几个参数是硬门槛:--trust-remote-code 必须加(model_type 为自研 xing4_0,非 llama 非 qwen),--tensor-parallel-size 2 意味着至少两卡,--max-model-len 262144 对应 256K 上下文,--reasoning-parser xing4_0 与 --tool-call-parser xing4_0 配套解析器,--speculative-config 用 mtp 方法,--gpu-memory-utilization 0.90 与 --max-num-seqs 4 是官方示例配比。权重 41 个 safetensors 分片共 62.43 GB,官方量化只有 FP8(33.17 GB,e4m3)与 GGUF(IQ4_NL 单文件 17.75 GB),没有 AWQ、GPTQ 或 INT8 safetensors。显存官方完全未公布,只说按实际环境配置;基座层给出的是必须 bfloat16(mHC 模式要求,FP16 或量化路径会报错)、暂不支持 --pipeline-parallel-size 大于 1、CUDA 上 mHC 路径需装 tilelang、宿主机需 Docker 24.0 以上与驱动 535 以上;昇腾路线明说需 910B2 系列 NPU 至少两张卡,并提供 quay.io 上三款官方镜像(镜像不含权重需自行挂载)。消费级与 CPU 路径只在基座 llama.cpp 文档里出现:int4 权重用 IQ4_NL 量化后约 19 GB,可在单张消费级 GPU 上跑,示例卡 RTX 3090 24 GB。SDK 只是 httpx HTTP 客户端、未发 PyPI;结构化输出两层:模型原生 category + args 数组,以及 SDK 开启 guided_json 后自动生成 JSON Schema 走 vLLM response_format 约束解码。许可虽为 Apache-2.0,但权重侧无独立 LICENSE 文件、仓库 LICENSE 是未填版权人的占位模板、61 个上游数据集原许可仍需自行核对。

开源语音模型五连发:蚂蚁 MIT 协议四卡起步

蚂蚁集团 inclusionAI 2026-10-19/20 以 MIT 协议开源 Ming-3.0 语音系列五款模型(多源确认,可自部署可微调可商用),覆盖语音合成、音频理解与对话、语音识别三方向:Ming-3.0-tts-0.5B(0.5B dense,最轻量四卡可部署)、Ming-3.0-tts-tiny(7.9B 总/1.3B 激活 MoE,长篇多说话人播客)、Ming-3.0-audio-flash(126B 总/6.5B 激活 MoE,音频理解与对话、可文字可语音作答)、Ming-3.0-audio-tiny(9.3B/2.7B,效率向)、Ming-3.0-asr-tiny(8.6B/2B,上下文感知转写)。能力:TTS 文字描述音色、导演模式自然语言控情绪/重音/节奏、声音克隆、七种语言+两种方言;音频理解长音频直接输入、结构化输出、保留情绪与说话人身份、工具调用生成;ASR 方言识别、热词注入、上下文感知。接入步骤(kie.ai 与 README 核实):TTS 路线 git clone github.com/inclusionAI/Ming-3.0-tts → conda 环境(0.5B:python 3.10 + pip install -r requirements.txt + conda install -c conda-forge pynini==2.1.6)→ 按 README 跑推理;tts-tiny 需独立环境 Python 3.10.15 + PyTorch/Torchaudio 2.7.1(cu118)+ Transformers 4.46.3;audio-flash 可下载权重或走 Ling Studio Chat(ling.tbox.cn),128K 上下文,语音输出走 Chat Completions 的 audio.voice 字段(modalities=["text","audio"])。硬件口径:官方主要在数据中心卡测试,推荐 NVIDIA H800(80GB)/H20(96GB),0.5B 四卡为最低门槛,消费级卡可行性未验证;day-0 生态 vLLM-Omni、SGLang-Omni 已适配。蚂蚁内部应用(官方稿口径):asr-tiny 用于阿福医生助手、支付宝搜索、蚁小保实时语音对话、安全核身。局限四条如实写:无量化文件(GGUF/AWQ/EXL2 均无)、流式存疑(SGLang-Omni 传 stream=true 仍返回整段波形,真实首音频延迟未确立)、控制模式互斥(Voice Design/情绪调制/方言选择不能单次推理组合)、训练语料未公布。榜单背书(二手口径):Artificial Analysis TTS 榜(Provider Voices)Ming-3.0-tts 1244 分居前列。与站内分工:voice-cloning-toolkit-comparison-review(2026-10-15)是横评栏选型文(五强怎么选),本篇是 SOP 栏接入实操(五款全栈怎么装怎么调),不同栏不同角度。

AI 跨会话记忆怎么实现?混元 MemHub 十分钟跑通

用腾讯混元现成方案给 AI agent 装跨会话记忆的接入 SOP,全部命令取自 MemHub README 与 PyPI 实测。安装三层:SDK 层 pip install hy-memory==2.0.3(写作时最新版);CLI 层 npm 装 memhub-cli 引导器(约 384KB),再跑 memhub install 下载 Runtime;数据目录 ~/.one-memory。v1.0.3 平台支持:Linux x64/arm64 Runtime、macOS arm64/x64 App——Windows 不支持(README 明确,正文加粗提醒+FAQ 双提醒,本站 Windows 读者多)。十条 CLI 命令逐条展开:serve/start/stop/restart/status/doctor/install/upgrade/uninstall/delete-data,含首跑流程示例(install 装完先 status 验证、doctor 体检、serve 起服务再接 agent)。隐私边界五条照写:不采集屏幕、不 OCR、不采集键盘鼠标事件、不读剪贴板、不录音。工具数两口径并写:MemHub README 列 5 种工具,腾讯官方公众号稿称 10 种,正文不选边、以实际 CLI 输出为准。preview 警示独立成节:Hy Memory 2.0 与 MemHub 均处 preview 阶段,命令与 API 可能变动,生产慎用。常见坑:Windows 读者给出的替代路线(WSL2 或等官方支持)、版本号必须带 ==2.0.3 保证可复现、数据目录备份即拷 ~/.one-memory。分工声明:ai-agent-long-term-memory-sop(2026-08-08)讲 mem0/Letta 自建长期记忆(向量库+文件),本篇讲腾讯混元现成开箱方案,面向想当天跑通的读者。主攻搜索词「AI 跨会话记忆」(S1=2/S2=1/S3=2/S4=3,约 8 分强采线)只进标题与本摘要,不进正文。

Claude Code 接 DeepSeek:官方九变量,别抄旧教程

Claude Code 接 DeepSeek 的官方直连 SOP,全部命令与变量取自 DeepSeek 官方指南(api-docs.deepseek.com/quick_start/agent_integrations/claude_code),对应 1017 checkpoint 上线后的现役配置。主攻搜索词「Claude Code 接 DeepSeek」(S1=3/S2=1/S3=2/S4=3)。迁移路径九项环境变量:ANTHROPIC_BASE_URL 指向 https://api.deepseek.com/anthropic、ANTHROPIC_AUTH_TOKEN 填 DeepSeek API Key、ANTHROPIC_MODEL=deepseek-flash[1m]、DEFAULT_OPUS/SONNET 同为 deepseek-flash[1m]、DEFAULT_HAIKU=deepseek-flash、CLAUDE_CODE_SUBAGENT_MODEL=deepseek-flash、CLAUDE_CODE_EFFORT_LEVEL=max、CLAUDE_CODE_AUTO_COMPACT_WINDOW=786432;Windows PowerShell 与 Linux/Mac 两版写法都给。从零安装四步:Node.js 18+(Windows 另装 Git for Windows)、npm install -g @anthropic-ai/claude-code、claude --version 验证、配变量后进项目目录运行。模型映射:claude-opus 开头的请求映射到 deepseek-v4-pro(按 V4 Pro 价计费,比 Flash 贵,必读提醒)、claude-haiku/sonnet 映射到 deepseek-flash。Web Search 原生可用但两条计费线:搜索请求按 Search API 计费,对检索内容的摘要另产生 token 费。价格口径(官方定价页):off-peak 每百万输入 0.15 美元(cache miss)、0.003 cache hit(约为 miss 的五十分之一)、输出 0.60 美元,peak(工作日 UTC 01:00-04:00 与 06:00-10:00)双倍,周末与中国法定节假日算 off-peak。常见坑五条:AUTH_TOKEN 与 API_KEY 不是一回事(混用等于白配)、新旧变量并存可能鉴权冲突(只留新变量,社区教程口径)、密钥不进 settings.json 不入 git(固化用 ~/.bashrc、~/.zshrc 或系统环境变量)、接好后先跑「读一个文件再改一个文件」最小任务验证工具调用链路、/status 查当前生效模型。市面旧教程多残留 deepseek-chat 等已退休模型名。与站内分工:deepseek-v4-pro-claude-code-sop 是 V4-Pro-0813 时代「2 个环境变量」最小配置(2026-09),本篇是 1017 后官方现役全量配置;Harness 本体入门见 deepseek-harness-quickstart-sop。

ChatGPT 操作浏览器:六步装好,敢给全站权限吗

ChatGPT 操作浏览器的落地 SOP,命令与界面路径均取自官方文档 learn.chatgpt.com。六步链路:一、前置条件(ChatGPT 付费档、桌面应用、五款支持的 Chromium 系浏览器 Chrome/Edge/Brave/Opera/Vivaldi,Firefox 与 Safari 不支持);二、安装(桌面应用 Settings > Computer Use > 选浏览器 > Install 跳扩展商店 > 审批权限 > 回头确认显示 Manage;macOS 的 Computer Use 需要屏幕录制与辅助功能权限);三、调用(@Chrome/@Edge 等提及式调用、右键 Ask ChatGPT、macOS Cmd+Shift+. 唤起侧边栏、把打开的标签页或选中文字带入对话、双 Command 的 Appshot 截窗口);四、三入口决策(任务需要现有登录态如 SSO 内网/CRM/邮箱选扩展,localhost 或预览页用 @Browser 内置浏览器,有专门插件的服务插件优先);五、权限收敛四级(Allow once 仅一次、Allow for this site 本站、Allow for all sites 全站、Decline 拒绝)加域名 allowlist/blocklist 管理,五款浏览器共享这些权限,官方文档自己点名 Allow for all sites 与浏览器历史记录访问是高风险项;六、安全习惯(把页面内容、选中文字、视频转录当不可信上下文,允许前先审页面,不给 agent 常驻权限)。附官方文档确认过的坑:Opera 无侧边聊天但支持桌面工作流、仅 Chromium 系、任务跑在 Chrome 标签组里。与热点栏同主题分工:热点讲 OpenAI 的产品动作,本篇讲自己怎么配、怎么把权限收到最小。

8GB 显存出 4K 图:FLUX 3 Klein 本地部署三个坑

FLUX 3 Image Klein 在消费级 N 卡上的落地路径与三个实测坑,命令与文件名均取自官方仓库与第三方配方实测。主线走 ComfyUI:仓库 black-forest-labs/flux-3-image-klein-comfy 为 gated(HF API 中 gated 为 auto),匿名请求返回 401 与 x-error-code GatedRepo,须登录状态接受条款再 hf auth login;随后 hf download 四个文件——distilled transformer int8 为 5,827,874,779 字节、Qwen3-VL-4B int8 文本编码器 4,858,559,240 字节、prompt upsampler w4a8 为 6,724,090,780 字节、FLUX.2 VAE 336,211,292 字节;python main.py 起服务后进 Workflow 再到 Browse Templates 搜 FLUX 3,选 distilled Text to Image(模板 id image_flux3_klein_distilled_t2i),模板默认 1024×1024、euler 加 simple、16 步 CFG 1,两个文本编码器 loader 的 type 选 flux3,upsampler 开关必须保持打开。三个坑:其一,若照官方卡片示例下载 int8 upsampler(9,748,113,996 字节约 9.08GiB),四文件合计 19.343GiB,16GB 卡装不下,而 ComfyUI v0.41.2 的 distilled 模板实际按名加载的是 w4a8,比 int8 小 2.816GiB;其二,官方 model card 称编辑模板没有 upsampler 分支、需自备 LLM 做提示词增强,但 v0.41.2 的编辑模板实际含一个默认关闭的 upsampler 分支(TextGenerate 节点加 W4A8 loader 加图像编辑 system prompt),两条路都能走;其三,不带 upsampler 直接使用模型,编辑与 Ref2Image 结果不稳定,官方 model card 原文写明不要在没有 prompt upsampler 的情况下使用该模型。显存预算:BF16 11.2GB、FP8 5.6GB、INT8 可在 8GB 显存 RTX 上跑、NVFP4 面向数据中心;速度均为厂商口径,distilled 加 INT8 下 1MP 图在 RTX 5090 约 4 秒、RTX 4070 不到 9 秒、GB300 上 NVFP4 不到 0.6 秒,挂 LoRA 约增 5%。分辨率最高 4K 且宽高须为 16 的倍数,参考图最多 10 张,官方默认 distilled 16 步无 guidance、base 50 步 CFG 3.5。Diffusers 代码线只写到可用与官方提供含 bounding box 控制的参考推理代码和 Gradio demo,具体 API 以仓库 README 为准,本文不虚构类名与参数。商用前须核 FLUX Kommunity License:个人与年营收低于 500 万美元免费商用,研究与非商用免费,超门槛需自托管许可或 API,细节以 LICENSE 原文为准。

世界模型 本地部署:Matrix-Game 4.0 单卡能跑通吗

Matrix-Game 4.0 单卡本地部署九步 SOP,所有命令与参数均取自 v4 子目录 README 原文(仓库地址:github.com/SkyworkAI/Matrix-Game,文件 Matrix-Game-4/README.md)。一、前置条件先对齐:模型推理需 Linux 加 NVIDIA GPU 加 Python 3.12 三者同时满足,A100 80GB 参考部署用 PyTorch 2.12.0 / CUDA 13.2;仓库另内置 RTX 5090 专用运行时且不会自动识别硬件,必须显式选 preset;浏览器 demo 服务端须为 Linux 主机(同时构建游戏与 GStreamer 管线),桌面客户端 Safari/Chrome 不需要 GPU;单机游玩录制需 macOS 或 Linux 加 CMake、C++20、SDL2 与 FFmpeg,旧 Windows 入口保留但未验证功能等价;权重与素材不随仓库分发,需为 HF Hub 缓存预留额外空间。二、安装须在 Matrix-Game-4/ 子目录内执行(进错目录后面全错):git clone 后 cd Matrix-Game/Matrix-Game-4,python3.12 -m venv .venv 与 source .venv/bin/activate 隔离环境,pip install torch==2.12.0 torchvision==0.27.0 --index-url https://download.pytorch.org/whl/cu132(版本须成对),再 pip install -e '.[inference,server,download,test]'(四个 extras 少装一个就可能报缺模块);FlashAttention 可选,只有 rtx5090-sage 需要 SageAttention,普通 rtx5090 走 PyTorch SDPA。三、资源下载分两份清单(游戏素材与模型权重),命令带固定的 repo id 与 revision(4419accdb7bb7881234c5914de8cd915266e0325),--scene 可用 castle/racing/all 切换,单进程只支持一个场景模型;下载器按清单校验大小与 SHA256 故可断点重跑,共享 T5/tokenizer 与 Wan VAE 自动从官方 base 拉取;可用 matrix-game verify 复查完整性。四、离线渲染先验模型能出片:matrix-game render --scene ancient-egypt --input lowpoly.mp4 --resources resources --preset realtime --prompt-mode fixed --output outputs/egypt;输入是低模代理画面而非真实录像,输出 rendered.mp4 加配置报告且 FPS 与帧数保持(尾块内部补齐后裁掉);三个 preset 分工必须记牢——realtime 用于 A100、5090 换 rtx5090,而 quality 更慢却恰恰是省略 --preset 时的默认值,不写 preset 就默认吃最慢配置。五、本地游玩与录制不加载模型:bash scripts/build_game.sh 后 bash scripts/play.sh --scene ancient-egypt,射击两场景为 48 FPS 加 2 倍模拟时间,F9 录制、Esc 菜单,环境变量 MATRIX_GAME_DATA_DIR 可覆盖默认目录;赛车走 build_racing.sh 且 48 FPS 录制用 1 倍模拟时间,浏览器 demo 也不启用射击的 2 倍模式(每帧推进 1/--fps 秒)。六、浏览器 demo 服务端与客户端分离:终端一 mediamtx configs/mediamtx.yml,终端二 CUDA_VISIBLE_DEVICES=0 bash scripts/serve.sh --scene ancient-egypt --resources resources --preset realtime --fps 40,访问 http://127.0.0.1:8025/,加 --reference-only 可在不加载模型下测控制/HUD/音频/传输;--fps 40 是采集节奏目标而非吞吐或延迟保证。七、RTX 5090 两个预设:rtx5090 免额外安装,rtx5090-sage 需构建 SageAttention 2.2.0 加官方 CUDA-graph 补丁加 CUDA 13.2(git checkout eb615cf6cf4d221338033340ee2de1c37fbdba4a);两者均复用同一套场景 checkpoint 与共享资源,DiT 块线性权重加载时转 FP8、推理时量化激活而 Embedding 与输出头保持 BF16;启动会预热核并捕获 CUDA graph,故首启慢于稳态。八、验收双口径:浏览器 demo 按键到画面响应(官方口径约低于 150ms,未独立复测),或离线渲染低模视频得到精细输出;性能三口径并写(官方 480p 60FPS/83FPS/18.5GiB、官网面板仍为 0 占位、README A100 864×480 约 38-39 FPS),且模型吞吐、管线吞吐、呈现帧率与端到端延迟是四件事。九、六条坑:单进程仅一会话一场景模型、默认绑回环勿暴露公网(官方称可信单用户 demo 非公网云游戏服务)、--fps 40 非吞吐保证、Windows 未验证、磁盘含 Hub 缓存要预留、显存分 A100 80GB 与 RTX 5090 两档(5080/5070 待发)。

MiniCPM-V 4.7怎么跑:手机到电脑三条路

MiniCPM-V 4.7 从手机到桌面三条部署路线实操 SOP(所有数字口径截至 2026-10-15,以官方页面为准)。动手前先读懂两个官方数字:3GB 是模型运行内存占用(35B MoE 专家权重驻闪存按需流式加载的 MoE-SSD 机制),不是整机内存下限——官方 App 硬件表推荐 35B-A3B 机型 RAM≥12GB(验证机 iPhone 17 Pro Max)、1B≥4GB,小内存设备自动缩小专家缓存能跑但明显变慢;13+ token/s 为官方文档 iPhone 17 Pro Max 原文口径,其余传播口径(iPad 15+ 等)不采信。路线一手机/平板直装官方 App(OpenBMB/MiniCPM-V-Apps 覆盖 iOS/安卓/鸿蒙三端:iOS 走 TestFlight 公共链接,安卓 Releases 下载 APK,鸿蒙 DevEco 签名后装;35B-A3B 手机版约 16.6GB——主文件+40 个专家分片+视觉模块,1B 约 1.8GB;三条路里唯一全离线;常见坑:闪存速度直接拖慢解码、分片必须配套否则一致性检查拒载、手机 NPU 短期用不上——App 走 llama.cpp 通用推理路径)。路线二桌面自建 llama.cpp-omni 吃 LES 加速(官方 LES 链接指向 OpenBMB/llama.cpp-omni,10-13 新建仓 16 星;社区 tc-mb 同名仓 291 星文档全且有预编译包,两仓代码同源;已核命令 cmake -B build 与 cmake --build --target llama-omni-server/llama-omni-cli;GGUF 权重在 HF/ModelScope 官方标准量化仓;诚实边界:README 快速上手围绕 MiniCPM-o 4.5 全双工语音管线,4.7 加载细节本站未实测、以官方 README 为准)。路线三 Ollama 省事线(官方库截至 10-15 只有 4.6;OpenBMB 发布者页 openbmb/minicpm-v4.7 已可 ollama run——1b 约 1.8GB、35b-a3b Q4_K_M 约 22GB 且是默认 latest,小内存机器必须显式 :1b;此路线整模量化无 MoE-SSD,「3GB 跑 35B」不成立)。三路统一验收动作:对本地图片提问得到相关回答。与同批开源篇分工:那边谈模型能力与生态,本文只管跑起来。仓库地址:github.com/OpenBMB/MiniCPM-V 与 github.com/OpenBMB/MiniCPM-V-Apps。