先把分工说清楚,免得和站内旧文、以及同一批的另外三篇撞了角度。站内 2026 年 10 月 23 日的《都喊开源,谁能跑上桌:五款大模型协议横评》做的是许可证成色分级,逐条比对许可条款、适用地域与营收门槛;本篇不是许可证横评,许可这件事只在选型末尾用一句话带过。站内 2026 年 8 月 29 日的《腾讯 770B 只激活 49B:五款万亿级开源旗舰横评》谈的是 700B 至 2.8T 级参数与显存门槛,本篇把镜头换到 280B 至 310B 级、停在预训练终点的 Base 基座,重心不是「谁更大」,而是「同一张自测表该怎么读」。同一批里,热点篇讲 2026 年 11 月 5 日的发布事件与许可边界,回答「权重给了能不能叫开源」;SOP 篇讲怎么把模型装起来、跑通第一条推理;本篇只做评测方法论与四款基座的选型,不复述发布过程,不写命令行,也不逐条拆许可。一句话:那三篇回答「是什么、能不能用、怎么装」,本篇回答「这张分数表凭什么可信、又凭什么不能全信」。
一、先把四款基座和这张表摆出来
2026 年 11 月 5 日,百度把 ERNIE 5.5 Flash Base 以开放权重形式上架,HF 官方模型卡里随附了一张 30 项评测表。这张表不是百度单独跑给自家模型看的,而是把四个 Base checkpoint 放在同一套流程里对照:ERNIE-5.5-Flash-Base、DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base。先把最容易被误读的一句话放在前面:表里 30 项分数全部是百度统一评测流程自测、未见第三方复现,属于厂商自报口径,既不是客观排名,也不构成任何关于「谁最强」的绝对化结论。下文所有数字都带这个限定,请一并读进去。
| 模型 | 总参数 | 每 token 激活 | 激活占比 |
|---|---|---|---|
| ERNIE-5.5-Flash-Base | 280B | 14B | 5.0% |
| DeepSeek-V4-Flash-Base | 284B | 13B | 4.6% |
| Hy3-preview-Base | 295B | 21B | 7.1% |
| MiMo-V2.5-Base | 310B | 15B | 4.8% |
评测设置按官方博客原文:四个模型都基于各自公开发布的 checkpoint,使用同一套评测框架、相同的 prompt 与 few-shot 样例,自由问答题交同一个裁判模型判分。30 项按 Exam、Knowledge、STEM、Reasoning、Multilingual、Code、Long Context 七组排开;在这张表内,ERNIE 拿下 24 项的最高分,另有 6 项不是最高。请留意「本表内的最高分」这个说法:它描述的是百度统一评测流程自测、未见第三方复现的相对位置,换成另一套框架、另一组 prompt,名次完全可能重排。把 24 项第一直接读成「赢了」,是这张表最容易被滥用的一步。
二、「同一把尺子」到底统一了什么
这张表真正的价值,不在分数本身,而在它把跑分里最会掺水的几个变量摁住了。评测圈早有共识:同一个模型,换个 harness、换套 prompt、多给几个 few-shot 样例、换一个裁判模型,分数能差出一截,agent 类任务尤其夸张,脚手架越重分越虚。厂商各自发榜时,这些变量都握在自己手里,用户横向一比,比的往往是工程包装而不是模型能力。百度这次把四个模型收进同一套评测框架、同一组 prompt 与 few-shot、同一个自由问答裁判模型,等于把「尺子」统一了:剩下的分差至少能归因到模型本身,而不是谁家脚手架调得更狠。对做选型的人来说,这类统一口径的自测表比四份各自为政的发布会材料有用得多,因为它给了一个可核对的起点。但「统一了尺子」和「尺子可信」是两件事,下一节专门拆后半句。
三、这把尺子仍然没解决的五件事
第一,它仍是厂商自测。跑分由发布方自己完成,百度统一评测流程自测、未见第三方复现,没有独立机构把四个 checkpoint 用同一套脚本重跑一遍并公开结果。自测不等于造假,但自测的结论只能当自报口径,不能升级成客观排名。
第二,四款都是预训练终点的 Base checkpoint。官方定位写得很清楚:未经中训练与后训练,是给领域适配、指令微调、强化学习研究用的共同起点,不是聊天模型。所以这 30 项测的是「继续训练的底座成色」,不是对话框里的体验,更不是智能体完成任务的能力。拿它给助手产品背书,是错位的。
第三,分数只在这张表内可比,严禁跨榜。Terminal-Bench、Agent Arena、AA Intelligence Index 各自有独立的任务集、脚手架、算力预算与评分规则,评测设置互不相同,不可横向对齐。不能因为这张表里 24 项占优,就推到「某个 Agent 榜也是第一」;反过来也不成立。跨榜比较是本批最要守的红线。
第四,表里只有分数,没有成本。它不提供吞吐、延迟、显存占用、并行配置,也不提供另外三家的架构、上下文长度、许可证、训练数据或部署成本。官方表前两行只给了总参与激活参数,本篇据实照录,凡表外的一律不推测、不补齐。
第五,24 项第一不等于全面领先。6 个失手项集中在边界清晰的具体能力上,恰恰说明「领先」是有结构的。把这五件事叠起来看,正确的读法是:这是一份口径统一、但仍是自测、且只测 Base 的参考起点。
四、逐项读那 6 个失手项
| 项目 | ERNIE-5.5-Flash-Base | 本表最高分的对手 | 对手分数 |
|---|---|---|---|
| ChineseSimpleQA | 73.0 | DeepSeek-V4-Flash-Base | 75.3 |
| BBH (CoT) | 89.2 | Hy3-preview-Base | 90.0 |
| INCLUDE-lite | 79.5 | DeepSeek-V4-Flash-Base | 79.8 |
| FullStackBench | 54.6 | Hy3-preview-Base | 56.7 |
| HELMET-Rerank | 56.2 | DeepSeek-V4-Flash-Base | 60.0 |
| InfiniteBench | 46.5 | DeepSeek-V4-Flash-Base | 48.0 |
口径照旧:六项均为百度统一评测流程自测、未见第三方复现,对手分数取本表内该项最高值,不代表任何跨榜比较。
ChineseSimpleQA 考中文事实问答,本表最高分是 DeepSeek-V4-Flash-Base 的 75.3,ERNIE-5.5-Flash-Base 是 73.0。这类题拼的是中文世界知识的精确记忆,它说明 ERNIE 在中文知识类并非全面占优,把「24 项第一」顺手读成「中文全能」会出错。
BBH (CoT) 考带思维链的长链推理,最高分是 Hy3-preview-Base 的 90.0,ERNIE 是 89.2,是六项里分差最小的一档。要留意这是 CoT 设置下的结果:同一类能力换一套 prompt、去掉思维链,名次可能重排,单项分数不能外推成推理能力的整体高下。
INCLUDE-lite 考多语言覆盖,最高分是 DeepSeek-V4-Flash-Base 的 79.8,ERNIE 是 79.5,同样只差一线。做多语场景选型时,总胜场帮不上忙,得看这一格。
FullStackBench 考全栈工程代码,最高分是 Hy3-preview-Base 的 56.7,ERNIE 是 54.6。有意思的是,代码组里 ERNIE 在 HumanEval+ 82.3、MBPP+ 81.5、LiveCodeBench 40.1、RepoQA 91.7 上都拿到本表最高,偏偏全栈这一格落后。可见「代码强」必须拆到子能力看,一句概括会骗人。
HELMET-Rerank 考长上下文里的重排,最高分是 DeepSeek-V4-Flash-Base 的 60.0,ERNIE 是 56.2,是六项里分差最大的一档。长上下文组里 ERNIE 在 HELMET-ICL 85.9、RepoQA 91.7、LongBench-v2 48.7 上领先,重排却落后,正说明长文能力不是一个分数能概括的。
InfiniteBench 考超长文档,最高分是 DeepSeek-V4-Flash-Base 的 48.0,ERNIE 是 46.5。它和 HELMET-Rerank 一起指向同一件事:ERNIE 那套训练上下文 128K、微调与推理支持 1M 的长上下文设计,在这张自测表上并没有把每一项长文基准都推到本表最高。
把六项连起来看,失手集中在中文事实问答、带 CoT 的推理、多语覆盖、全栈工程、重排与超长文档;而 24 项第一主要分布在 Exam、STEM、代码基础题与长上下文的多数项上。「领先不等于全面」不是一句客气话,是这张表自己写出来的结论,且全属百度统一评测流程自测、未见第三方复现。
五、领先项怎么读:十个可核对的样本
| 项目 | ERNIE-5.5-Flash-Base | DeepSeek-V4-Flash-Base | Hy3-preview-Base | MiMo-V2.5-Base |
|---|---|---|---|---|
| MMLU | 93.3 | 89.4 | 87.5 | 87.6 |
| MMLU-Pro | 78.4 | 69.2 | 66.9 | 65.7 |
| HumanEval+ | 82.3 | 69.5 | 78.0 | 74.4 |
| MBPP+ | 81.5 | 67.2 | 78.3 | 74.3 |
| LiveCodeBench | 40.1 | 31.9 | 33.5 | 32.4 |
| GPQA | 60.2 | 55.9 | 50.2 | 51.4 |
| RepoQA | 91.7 | 81.0 | 91.3 | 56.5 |
| LongBench-v2 | 48.7 | 44.5 | 39.8 | 44.6 |
| HELMET-ICL | 85.9 | 83.8 | 83.0 | 80.2 |
| PIQA | 96.0 | 95.0 | 95.2 | 93.6 |
全表为百度统一评测流程自测、未见第三方复现,数值按官方模型卡原样列出,只用来说明「同一把尺子」下的相对位置,不构成客观排名。
这一组样本最该读出的,是「同一能力内部也不齐」。MMLU 93.3 与 MMLU-Pro 78.4 之间、HumanEval+ 82.3 与 LiveCodeBench 40.1 之间,落差来自题目难度与评测方式的差别,不是模型忽强忽弱;RepoQA 上 ERNIE 91.7、Hy3-preview-Base 91.3 几乎贴身,MiMo-V2.5-Base 则是 56.5,同组模型在不同子项上各有强弱。统一口径的好处此刻最明显:这些高低是在同一套框架、同一组 prompt 与同一个裁判模型下跑出来的,横向看相对位置是干净的。但请始终记住它们是自测口径,选模型时更该拿自己任务的同类题复跑,而不是抄一个总分。
六、选型:分数之外要算的六笔账
第一笔是激活占比与每 token 算力。四款的总参与激活参数分别是 280B/14B(约 5.0%)、284B/13B(约 4.6%)、295B/21B(约 7.1%)、310B/15B(约 4.8%)。激活参数决定每 token 的实际计算量,总参数决定权重体积与显存占用,两者要分开算;只看总参数或只看激活,都会把成本估偏。
第二笔是 KV cache 与长上下文实现,这一笔只对 ERNIE 成立。官方口径里,43 层中有 37 层用 HCA 重度压缩注意力,每 128 token 才压缩成一条缓存条目,另有 6 层 MLA-DSA 保留 token 级全上下文访问;训练上下文 128K,微调与推理支持 1M。这套设计直接决定长序列下的显存与吞吐,但它只适用于 ERNIE,另外三家官方表没有提供同类细节,本篇不做推测。想核对实现或接入推理,可以从 PaddlePaddle/FlashMask 与 baidu/vLLM-ERNIE 这两个仓库起步。
第三笔是 128K 与 1M 的外推边界。训练 128K、微调与推理 1M 是 ERNIE 的官方口径,意味着 1M 属于外推区间而非预训练原生长度;真要用到这个量级,得用自己的任务复跑验证,不能只看表里 LongBench-v2 48.7 或 InfiniteBench 46.5 这类单点分数。
第四笔是后训练成本。四款都停在预训练终点,要变成能用的助手还得自己补中训、指令微调与对齐,相关方法见 Base 后训 SOP。这张表测的是「继续训练的共同起点」,不是「开箱即用的产品」;想省掉这段投入,更稳妥的是等官方后训练版。
第五笔是部署引擎与并行配置。280B 级权重的显存账、并行切分与服务化都得另算,门槛可参考 显存测算 SOP。这张自测表不含吞吐、延迟与硬件配置,分数高不等于跑得起、跑得便宜。
第六笔是许可地域,一句带过:ERNIE 5.5 Flash Base 是开放权重而非无条件开源,自定义许可有适用地域与营收门槛,条款核对请看 协议横评,本篇不逐条展开;另外三家官方表同样未给许可信息,不做推测。
七、结论
要继续训练、做领域适配,就选成色清楚、评测口径写在明处的 Base,把这张表当「同一条件下的参考起点」;要开箱即用,等官方后训练版,别拿预训练终点的分数替产品体验背书。任何选型最后都该回到自己的任务:挑几类真实样本盲跑几遍取均值,比盯住 24 项第一有用得多。再强调一次口径:全篇数字都是百度统一评测流程自测、未见第三方复现,既不是客观排名,也不跨榜对齐,更不能包装成任何跨榜的绝对化结论。
常见问题
Q1:24 项第一,是不是就能说 ERNIE 赢了? A1:不能。这批数字是百度统一评测流程自测、未见第三方复现,属于自报口径而非客观排名;30 项里有 6 项不是本表最高;四款又都是未经后训练的 Base,分数不等于对话或智能体体验;再加上严禁跨榜,任何「赢了」的结论都站不住。
Q2:这张表能和 Terminal-Bench、Agent Arena、AA Intelligence Index 放一起比吗? A2:不能,严禁跨榜。几套榜单的任务集、脚手架、算力预算与评分规则各不相同,评测设置不可横向对齐,这张表的名次既不能推到那些榜上,也不能从那些榜反推回来。
Q3:四款都是 Base,分数能代表实际对话体验吗? A3:不能。四款都是停在预训练终点、未经中训练与后训练的 checkpoint,是给继续训练用的共同起点,不是聊天模型。想开箱即用,等官方后训练版,或自己补后训练。
Q4:另外三家的上下文、许可证和部署成本,这张表里有吗? A4:没有。官方表前两行只给了总参与激活参数,本篇据实照录、不做推测。训练 128K、微调与推理 1M、37 层 HCA 每 128 token 一条缓存、6 层 MLA-DSA 这些只适用于 ERNIE,不能套到另外三家。
Q5:那我该拿这张表做什么? A5:当同一条件下的参考起点。它统一了框架、prompt、few-shot 与裁判模型,适合拿来框定候选、看相对强弱;但仍是自测、未见第三方复现,最终要在自己的任务上复跑,并结合激活占比、KV cache、128K 与 1M 外推、后训成本与部署门槛一起算账。
延伸阅读
- 《都喊开源,谁能跑上桌:五款大模型协议横评》:许可证成色分级
- 《腾讯 770B 只激活 49B:五款万亿级开源旗舰横评》:万亿级参数与显存门槛
- ERNIE 5.5 Flash Base 开放权重热点:发布事件与许可边界
- ERNIE 5.5 Flash Base 上手 SOP:装机与推理步骤
- Base 后训 SOP:继续训练与对齐
- 显存测算 SOP:部署门槛