腾讯 770B 旗舰自部署 SOP:8 张 H100 连 FP8 权重都放不下,官方起步线是 16 张 B200
自部署腾讯 770B 旗舰 Hy4 preview 的完整 SOP。先泼冷水算清显存账:FP8 权重约 770GB,官方 vLLM recipe 明确基线是 16×B200 或 8×B300(weights+KV cache),8×H100(640GB)连 FP8 权重都放不下--激活 49B 省的是算力,770B 权重必须整份驻留显存。两条部署路线命令逐字出自官方 README:vLLM 预构建镜像(MTP 投机解码 num_speculative_tokens=3、FLASHMLA_SPARSE 注意力后端、hy_v4 工具/推理解析器)与 SGLang 预构建镜像(NEXTN 投机、tp-size 8)。含 OpenAI 兼容调用(temperature 0.9/top_p 1.0,no_think 关深度思考省输出 token)、AngelSlim 自量化、finetune 管线、7 条踩坑与 10 项上线 checklist;不自部署的可走腾讯云 TokenHub/OpenRouter 或 WorkBuddy/CodeBuddy 两周免费。