实战 SOP
实战 SOP

BOS 漏一个,输出全乱:280B 基座五步跑通实录

把 ERNIE 5.5 Flash Base 从下载前的合规检查走到第一次跑通:先按 LICENSE v1.0 做三问自检(Territory 排除欧盟英国韩国、相关年收入 5000 万美元门槛、Powered by ERNIE 署名与 [email protected] 一次性通知,超门槛须事先书面授权,另有蒸馏禁令与训练数据不交付);再在 FP8 与 BF16 两版权重间选择;用官方 Transformers Quick Start 以 add_special_tokens=True 补上 BOS 跑通最小生成;按官方模型卡示例用 SGLang 或 vLLM 起 completions 服务(--tp 4、131072、上限 1048576),并用 curl 以 prompt 而非 messages 验证;最后定位 NVIDIA-NeMo/Megatron-Bridge 的 examples/models/ernie55/ 继续训练入口。三个坑:漏 BOS、把 Base 当聊天模型、地域与营收误判。

发布于 2026年11月6日9 分钟阅读
<!-- ernie-55-flash-base-setup-sop | sop | BOS 漏一个,输出全乱:280B 基座五步跑通实录 -->

把一份 280B 的权重拉到本地、敲几行命令看到第一个 token,很多人以为这就算能用了。真正卡住落地的往往不是算力,而是三件更早的事:这份权重允许你在哪里用、以什么身份用,以及请求格式对不对。2026 年 11 月 5 日百度发布 ERNIE 5.5 Flash Base 之后,社区里常见的命令只覆盖了把服务跑起来这一段,许可边界和输入格式的坑却很少有人一次讲清。这一篇按官方模型卡与 LICENSE 原文,把从下载前自检到第一次验证请求拆成五步,再单列三个最容易翻车的地方,命令按官方示例原样给出,不擅自补硬件数字。

先把分工说清楚,免得和站内其他文章重复。本批的热点篇讲发布事件、架构口径与许可边界,本篇不复盘事件,只讲步骤;本批的横评篇讲那张自测表怎么读、四款基座怎么选,本篇不比对任何分数。站内已有的显存测算方法见 llm-local-deploy-vram-sop,它给的是通用测算思路,本篇针对的却是这一份具体权重和官方示例配置;通用 LoRA/QLoRA 微调路线见 llm-fine-tuning-sop,本篇只在最后一步点出继续训练的官方入口,不展开通用微调配方。换句话说,这一篇回答的是照着做能不能跑通,不是该不该用、和谁比、怎么精打细算显存。

一个贯穿全篇的提醒:把服务跑通,和取得商用资格,是两件完全不同的事。下面第 1 步只做 LICENSE 条款的原文陈述,不构成任何法律意见;是否落在许可允许的范围里,需要你对照自己的实际情况逐条判断。

第 1 步:先看 LICENSE,过完三问再下载

别急着点下载按钮。这份权重用的不是常见的开放源码协议,而是自定义的 ERNIE 5.5 Flash Base Model License Agreement v1.0,Hugging Face 仓库上标注为 license: other。以下条款按 2026 年 11 月 6 日抓取的 LICENSE 原文陈述,只做原文转述并标注核验时点,不构成法律意见。把三问过一遍,再决定要不要把整套权重拉到本地。

问一,使用地是否在 Territory 内。条款把 Territory 定义为全球除欧盟、英国、韩国以外的所有地区。5.3 写明,模型、衍生模型及其输出不得在 Territory 之外被使用、复制、修改、分发或展示。本文只陈述条款划定的范围,不替你认定使用地。

问二,相关产品或服务年收入是否超过 5000 万美元。条款在 1.7 把 Annual Revenue of Related Products or Services 定义为同一 Operator 在评估时点前连续 12 个月内,所有使用、并入或依赖本许可材料的产品或服务所确认的收入合计;它按使用时点持续评估,不按自然年切分,关联实体要合并计算,若某产品还用了别的模型,计入的是整段收入而不是只算 ERNIE 那一部分。4.2 规定,年收入不超过 5000 万美元(原文为 US$50 million)的商用免收模型许可费,但要履行 3.2 的署名义务并发一次性使用通知;恰好等于 5000 万美元落在这一节。4.3 规定,年收入超过 5000 万美元的商用,必须在开始前事先取得 Licensor 的单独书面授权;条款特别写明,使用通知、申请、待回复或磋商中的状态,都不构成这一授权。换句话说,4.2 里那封发到 [email protected] 的一次性通知,并不等于 4.3 要求的书面授权,两者不能混为一谈。

问三,你的产品界面能不能显著展示 Powered by ERNIE,并发出那封一次性通知。3.2 要求,使用本许可材料或衍生模型的商业产品或服务,要在用户界面、官网、关于页或产品文档里至少一处清晰显著地展示 Powered by ERNIE 这一原文字样;没有终端用户界面的 API、后端服务或模型交付,在开发者文档、API 文档或交付文档里显著展示即可。6.3 只授予这一句话的有限使用,不授予其他商标权益。通知要在首次商用之前发到 [email protected],写明 Operator、模型名与版本、相关产品或服务及其用途、有效联系方式;同一 Operator 使用同一模型版本只发一次,发出后合资格商用无需等对方回复、确认或批准即可进行,但条款同时点明该通知不构成 4.3 的书面授权。

除了三问,还有几条容易被略过、却直接影响能不能用的条款。5.5 禁止用模型、衍生模型或其输出、结果,去改进本模型及其衍生模型以外的任何其他人工智能模型或机器学习系统,这一条常被称为蒸馏禁令;1.4 明确未发布的训练代码、数据、推理代码或其他材料不在交付范围,也就是说你拿到的是权重、参数、配置与分词器等实际提供的材料,训练配方并不随权重一起给;8.3 规定许可终止后要停止受影响的使用、复制与分发,并删除或销毁权重与衍生模型的副本;4.5 还保留了每年至多一次的书面核验请求。以上全部是条款陈述,不是法律结论。想看五款协议逐条横比,可读 openweight-license-comparison-review,那一篇是协议对比,本篇只核这一份新许可与落地步骤。

第 2 步:选权重与渠道,别下错版本

官方模型卡的下载表里给了两版:FP8 版 baidu/ERNIE-5.5-Flash-Base,以及 BF16 版 baidu/ERNIE-5.5-Flash-Base-BF16,都是 safetensors 格式,Hugging Face 与 ModelScope 同步上架。官方口径是总参数 280B、每 token 激活 14B。两版的取舍按精度与手上硬件来定:FP8 更省带宽、更省显存占用,BF16 的数值表达更直接,后续若打算做精度敏感的继续训练,通常会更看重这一版;但官方并没有给出哪一版更好的推荐,别把这类权衡写成官方结论。

这里有个必须守住的边界:官方模型卡没有公布最低显存,也没有给出最低卡数。这两项不要凭经验去补,也不要从别处搬数字过来。显存怎么估属于通用工程方法,前面提到的显存测算旧文讲的是那套思路,但那是方法,不是这份权重的官方数字。下载后核对文件哈希、比对校验和,同样只是通用的工程常识,用来防传输损坏或源被替换,官方模型卡的下载步骤里并没有这一项,别把它当成官方要求。

渠道上,Hugging Face 与 ModelScope 仓库名一致,选网络更稳的一边即可;真正容易出错的是后缀,bf16 版仓库名末尾带 -BF16,两个版本不要混下,也不要把 FP8 版当成 BF16 版去配 torch.bfloat16。把仓库名、版本号和本地缓存路径记清楚,后面两条起服务命令都要用到同一个 model 标识。

第 3 步:最小可跑,先用 Transformers 确认权重能加载

上服务框架之前,先用几行 Transformers 代码确认权重能加载、能生成。官方 Quick Start 原文如下:

python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "baidu/ERNIE-5.5-Flash-Base-BF16"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
model_inputs = tokenizer(["ERNIE 5.5 Flash 的混合注意力结构"], add_special_tokens=True, return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(**model_inputs, max_new_tokens=256)[0], skip_special_tokens=True))

几处关键参数值得逐个点出。加载用 AutoModelForCausalLM.from_pretrained,精度写 torch_dtype=torch.bfloat16,device_map="auto" 让框架自动把层分配到可用设备,生成长度用 max_new_tokens=256 控制。示例里写的模型名是 baidu/ERNIE-5.5-Flash-Base-BF16,和 BF16 精度正好对应;换成 FP8 版时要按那一版的精度调整 dtype,别照抄。

最要紧的是 add_special_tokens=True。官方明确说明这是 Base 模型,每条输入必须以 BOS token 开头;分词时保持这个开关为 True,才会自动补上起始标记。若图省事改成 add_special_tokens=False,输入就缺了 BOS,生成结果会明显跑偏、续写不连贯,看起来像是模型坏了,其实是输入约定没满足。这不是玄学,是 Base 模型与聊天模型在输入格式上的差别。这一步的输出只是给定前缀的续写,不是对问题的回答,别拿它去评估对话质量。

第 4 步:起服务二选一,再用 completions 验证

两条路都出自官方模型卡 Deployment 节,选一条即可,不必都装。

先看 SGLang。官方给了预构建镜像 lmsysorg/sglang:dev-ernie-55-flash,用 docker 起容器时把本地 Hugging Face 缓存挂进去,容器名示例为 ernie55:

bash
docker run -d -it --name ernie55 \
  --gpus all \
  --network host \
  --ipc host \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  lmsysorg/sglang:dev-ernie-55-flash

容器内启动服务的命令如下:

bash
sglang serve \
  --model-path baidu/ERNIE-5.5-Flash-Base \
  --tp 4 \
  --attn-dp-size 4 \
  --context-length 131072 \
  --max-running-requests 1024 \
  --host 0.0.0.0 \
  --port 30000

其中 --tp 4、--attn-dp-size 4、--context-length 131072、--max-running-requests 1024、--port 30000 都是官方示例里给出的取值。特别说明,--tp 4 只是官方示例配置,不是最低硬件要求,官方并没有说必须四张卡才能起。

再看 vLLM。先建一个 Python 3.12 的虚拟环境,装指定版本,再装官方插件仓库 vLLM-ERNIE:

bash
uv venv --python 3.12 ernie5-venv
source ernie5-venv/bin/activate

uv pip install vllm==0.32.0
uv pip install git+https://github.com/baidu/vLLM-ERNIE.git

启动服务:

bash
vllm serve baidu/ERNIE-5.5-Flash-Base \
  --kv-cache-dtype fp8 \
  --enable-expert-parallel \
  --data-parallel-size 4 \
  --max-model-len 131072 \
  --port 30000 \
  --moe-backend humming

这里的 --kv-cache-dtype fp8、--enable-expert-parallel、--data-parallel-size 4、--max-model-len 131072、--moe-backend humming 同样按官方原样给出,--data-parallel-size 4 也只是官方示例配置,不是最低硬件要求。两条命令里写的上下文长度都是 131072,而模型卡说明两者都支持最高 1048576 token 的上下文用于长文本推理,别把命令行里的 131072 误当成模型上限。

服务起来之后要验证。因为它是 Base 模型,服务端暴露的是 completions 端点,不是 chat/completions;请求体用 prompt,不要写 messages,也不要套聊天模板。官方给的 curl 原文如下:

bash
curl http://localhost:30000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "baidu/ERNIE-5.5-Flash-Base",
    "prompt": "Large language models are",
    "max_tokens": 256,
    "temperature": 0
  }'

请求打的是 /v1/completions,用 prompt 传前缀,max_tokens 设 256,temperature 设 0 让输出可复现。能拿到一段连贯续写,就说明权重、框架、请求格式三者对上了。至于鉴权、超时、重试、流式这些 API 接入的通用套路,可参见 hy4-tokenhub-api-integration-sop,但那一篇讲的是通用 API 集成,这里的重点是 completions 与 prompt 这个 Base 模型专属约定,两者别混。

第 5 步:继续训练的正确入口

如果目标是接着训练,而不是只做推理,官方博客把入口指向 NVIDIA-NeMo/Megatron-Bridge 仓库里的 examples/models/ernie55/ 目录。2026 年 11 月 6 日通过 GitHub API 实抓该目录,里面是四个文件:README.md、benchmark_d_layer_indexer.py、convert_sft_jsonl.py、slurm_train.sh。也就是说,官方给的是继续训练示例入口与脚本清单,而不是一份开箱即用的完整训练配方。从文件名能看出大致分工:有基准测试脚本、有把 SFT 数据转成 jsonl 的 convert_sft_jsonl.py、有基于 Slurm 的 slurm_train.sh,还有一个 README.md 作说明;但具体怎么组集群、多少节点、用什么卡,这份目录清单里没有核实到,别照媒体转述去补具体集群规模数字。

通用 LoRA/QLoRA 属于参数高效微调的通用方法,不是这份权重的官方配方;那套方法见 llm-fine-tuning-sop,此处只把它标为通用方法带过。真要动手,仍要回到第 1 步确认许可是否覆盖你的用途,尤其别碰 5.5 那条禁止用输出改进其他 AI 系统的红线。

三个最容易踩的坑

第一,漏 BOS。把 add_special_tokens 改成 False,Base 模型输入就缺了起始 token,输出会跑偏。第 3 步那行分词保持 True,是本模型最容易被忽略的一处约定。

第二,把 Base 当聊天模型。官方定位是预训练终点 checkpoint,未经中训练与后训练,不是聊天模型;所以走 completions 加 prompt,别照抄聊天模板里的 messages,也别自己编一套 chat 模板。官方说经过后训练的 ERNIE 5.5 Flash 将随后推出,但没有给出日期,不要替它编一个时间,更不要拿 Base 版硬凑对话效果。

第三,地域与营收误判。Territory 排除欧盟、英国、韩国;相关产品或服务年收入超过 5000 万美元须事先取得单独书面授权,一次性通知不等于授权;5.5 的蒸馏禁令、1.4 里训练代码与数据不开放、8.3 终止后须删除权重,这几条常被一起忽略。把我跑通了等同于我能商用,是最常见也最贵的一次误判。

平台与边界

这套栈是 Linux、Docker 与 CUDA 的组合,Windows 原生跑不了 SGLang 与 vLLM 的这套命令。若用 WSL2 起一个 Linux 环境再装 Docker,属于通用做法,不是官方 README 里写的步骤,遇到环境问题时别去官方模型卡找对应说明。

再强调一遍:跑通只证明权重、框架、请求格式对上了;能不能商用,由第 1 步那些 LICENSE 条款决定。本文只做条款陈述与步骤还原,不构成法律意见。命令按官方模型卡原样引用,vllm==0.32.0 这样的版本号、镜像标签、上下文数字,都以你下载当天的仓库为准;2026 年 11 月 5 日之后若有更新,以仓库当前内容为准。

常见问题

Q1:服务跑通了,是不是就能直接商用? A1:不是。跑通是工程问题,商用资格是许可问题。第 1 步的三问仍要逐条过:使用地是否在 Territory 内、年收入是否超过 5000 万美元、能否显著展示 Powered by ERNIE 并发一次性通知到 [email protected]。超过门槛的还须事先取得单独书面授权,申请或通知都不构成授权。本文只陈述条款,不构成法律意见。

Q2:FP8 和 BF16 该下哪一个,官方有没有给最低显存? A2:按精度与硬件自己定,FP8 更省带宽和显存占用,BF16 数值表达更直接,官方没有给推荐结论。官方模型卡既没有公布最低显存,也没有给出最低卡数,这两项都不要凭经验补。下载后校验哈希属于通用工程常识,不是官方步骤。

Q3:我照聊天模板发 messages,为什么报错或输出很怪? A3:因为它是 Base 模型。服务端暴露的是 /v1/completions,请求体用 prompt,不用 messages,也不套 chat 模板。另外分词要保持 add_special_tokens=True,让每条输入带上 BOS token;关掉它输出就会跑偏。这两处是同一类问题的两面。

Q4:--tp 4 是不是意味着至少要四张卡,上下文上限又是多少? A4:--tp 4 与 --data-parallel-size 4 都只是官方示例配置,不是最低硬件要求,官方没公布最低卡数。两条启动命令里写的上下文长度是 131072,而模型卡说明 SGLang 与 vLLM 都支持最高 1048576 token 的上下文用于长文本推理,命令行取值不等于模型上限。

Q5:Windows 能跑吗,后训练版什么时候出? A5:这套 Linux、Docker、CUDA 栈 Windows 原生不支持;用 WSL2 属于通用做法,并非官方 README 步骤。后训练版官方只说将随后推出,没有给日期,不要自行补时间。想在这之前做对话,得自己走继续训练或适配,而那又要回到许可与第 5 步的入口。

延伸阅读

想继续读,按卡在哪一步挑即可:发布事件与许可边界看本批热点篇,自测表怎么读与选型看本批横评篇,五款协议横比看 2026 年 10 月 23 日那篇都喊开源谁能跑上桌,显存估算、通用 LoRA/QLoRA 与对外 API 封装分别看文中对应的三篇旧文。上述文章已按栏目分工一一对应,不必顺着读完。

本文由 AI 辅助生成,经人工审核编辑。最后更新:2026-11-06

常见问题

服务跑通了,是不是就能直接商用?
不是。跑通是工程问题,商用资格是许可问题。第 1 步的三问仍要逐条过:使用地是否在 Territory 内、年收入是否超过 5000 万美元、能否显著展示 Powered by ERNIE 并发一次性通知到 [email protected]。超过门槛的还须事先取得单独书面授权,申请或通知都不构成授权。本文只陈述条款,不构成法律意见。
FP8 和 BF16 该下哪一个,官方有没有给最低显存?
按精度与硬件自己定,FP8 更省带宽和显存占用,BF16 数值表达更直接,官方没有给推荐结论。官方模型卡既没有公布最低显存,也没有给出最低卡数,这两项都不要凭经验补。下载后校验哈希属于通用工程常识,不是官方步骤。
我照聊天模板发 messages,为什么报错或输出很怪?
因为它是 Base 模型。服务端暴露的是 /v1/completions,请求体用 prompt,不用 messages,也不套 chat 模板。另外分词要保持 add_special_tokens=True,让每条输入带上 BOS token;关掉它输出就会跑偏。这两处是同一类问题的两面。
--tp 4 是不是意味着至少要四张卡,上下文上限又是多少?
--tp 4 与 --data-parallel-size 4 都只是官方示例配置,不是最低硬件要求,官方没公布最低卡数。两条启动命令里写的上下文长度是 131072,而模型卡说明 SGLang 与 vLLM 都支持最高 1048576 token 的上下文用于长文本推理,命令行取值不等于模型上限。
Windows 能跑吗,后训练版什么时候出?
这套 Linux、Docker、CUDA 栈 Windows 原生不支持;用 WSL2 属于通用做法,并非官方 README 步骤。后训练版官方只说将随后推出,没有给日期,不要自行补时间。想在这之前做对话,得自己走继续训练或适配,而那又要回到许可与第 5 步的入口。

相关文章

实战 SOP

Xing4.0-29B-Intent 部署:29B 只跑 4B,命令抄哪条

把 Xing4.0-29B-Intent 跑起来的关键,是官方部署说明其实不在本仓库而在基座仓库:意图仓库 README 只给一句替换说明,完整 vLLM 与 SGLang 启动命令需从基座 Xing4.0-29B-A4B 搬,再把模型路径换成 Xing4.0-29B-Intent 权重路径并把 --served-model-name 设为 Xing4.0-29B-Intent。命令里几个参数是硬门槛:--trust-remote-code 必须加(model_type 为自研 xing4_0,非 llama 非 qwen),--tensor-parallel-size 2 意味着至少两卡,--max-model-len 262144 对应 256K 上下文,--reasoning-parser xing4_0 与 --tool-call-parser xing4_0 配套解析器,--speculative-config 用 mtp 方法,--gpu-memory-utilization 0.90 与 --max-num-seqs 4 是官方示例配比。权重 41 个 safetensors 分片共 62.43 GB,官方量化只有 FP8(33.17 GB,e4m3)与 GGUF(IQ4_NL 单文件 17.75 GB),没有 AWQ、GPTQ 或 INT8 safetensors。显存官方完全未公布,只说按实际环境配置;基座层给出的是必须 bfloat16(mHC 模式要求,FP16 或量化路径会报错)、暂不支持 --pipeline-parallel-size 大于 1、CUDA 上 mHC 路径需装 tilelang、宿主机需 Docker 24.0 以上与驱动 535 以上;昇腾路线明说需 910B2 系列 NPU 至少两张卡,并提供 quay.io 上三款官方镜像(镜像不含权重需自行挂载)。消费级与 CPU 路径只在基座 llama.cpp 文档里出现:int4 权重用 IQ4_NL 量化后约 19 GB,可在单张消费级 GPU 上跑,示例卡 RTX 3090 24 GB。SDK 只是 httpx HTTP 客户端、未发 PyPI;结构化输出两层:模型原生 category + args 数组,以及 SDK 开启 guided_json 后自动生成 JSON Schema 走 vLLM response_format 约束解码。许可虽为 Apache-2.0,但权重侧无独立 LICENSE 文件、仓库 LICENSE 是未填版权人的占位模板、61 个上游数据集原许可仍需自行核对。

2026年10月22日9 分钟阅读
实战 SOP

Qwen3.8-Flash-Next 全栈部署 SOP:125B 主模型 + 51B N-gram 嵌入,从托管 API 到 Apple Silicon 的三层路线

把 Qwen3.8-Flash-Next 从「能跑起来」推到「跑得省」的三层路线。托管层零运维:QwenCloud API 兼容 OpenAI 与 Anthropic 规范,QwenWork 的 Standard 模式由它驱动。服务化自部署给四条逐字出自官方 README 的命令:transformers serve(--continuous-batching)、SGLang(--tp-size 4 --context-length 262144 --reasoning-parser qwen3 --tool-call-parser qwen3_coder)、vLLM(--tensor-parallel-size 4 --max-model-len 262144 --enable-auto-tool-choice)与 TokenSpeed,四者都在 localhost:8000/v1 提供 OpenAI 兼容 API。本地与端侧另有 llama.cpp 的 GGUF、Apple Silicon 的 mlx-vlm 与 Unsloth。工程上最值得记的一点是额外那 51B N-gram embeddings 可以卸载到主机内存,靠异步预取与模型计算重叠——README 未给官方显存基线,故不猜硬件门槛,标注以官方 recipe 与实测为准。含 YaRN 外推 1M 的取舍、微调框架选择(Unsloth / Swift / Llama-Factory)与 7 条踩坑,其中第一条就是:GitHub 仓库无 LICENSE 文件,商用前先去模型页核对协议。

2026年8月30日12 分钟阅读
实战 SOP

腾讯 770B 旗舰自部署 SOP:8 张 H100 连 FP8 权重都放不下,官方起步线是 16 张 B200

自部署腾讯 770B 旗舰 Hy4 preview 的完整 SOP。先泼冷水算清显存账:FP8 权重约 770GB,官方 vLLM recipe 明确基线是 16×B200 或 8×B300(weights+KV cache),8×H100(640GB)连 FP8 权重都放不下--激活 49B 省的是算力,770B 权重必须整份驻留显存。两条部署路线命令逐字出自官方 README:vLLM 预构建镜像(MTP 投机解码 num_speculative_tokens=3、FLASHMLA_SPARSE 注意力后端、hy_v4 工具/推理解析器)与 SGLang 预构建镜像(NEXTN 投机、tp-size 8)。含 OpenAI 兼容调用(temperature 0.9/top_p 1.0,no_think 关深度思考省输出 token)、AngelSlim 自量化、finetune 管线、7 条踩坑与 10 项上线 checklist;不自部署的可走腾讯云 TokenHub/OpenRouter 或 WorkBuddy/CodeBuddy 两周免费。

2026年8月29日12 分钟阅读