首页

硬核横评

主流 AI 工具的真实场景对比测试,含独家数据与对比表格。

每 token 缓存差 39 倍:四款开源旗舰 Agent 横评

四款开源旗舰同台横评:MiniMax M3.1 Flash(428B/A23B)、DeepSeek V4.1 Flash 1017、GLM-5.3、Kimi K3——四款全部出现在 MiniMax 官方模型卡对照表,口径天然可对齐,但有两层前提必须写明:整表由 MiniMax 代跑(模型卡自认),且各基准 harness 不同(Terminal-Bench 4.0 用 Codex 0.149.1、DeepSWE 用 mini-SWE-agent@512K、CyberGym 用 Claude Code);M3.1 Flash 全部分数为厂商自报、无第三方复现。唯一第三方刻度是 AA 智能指数:DeepSeek 1017 得 45、M3.1 Flash 42、M3 得 29(GLM-5.3 的 59 属另一指数、另一月份,仅方向参考)。效率上的真差距在 KV cache:DeepSeek 1017 官方每 token 890 字节,M3.1 Flash 34,560 字节(vLLM 工程口径),自托管长上下文的内存账差约 39 倍。M3 到 M3.1 Flash 没有官方基准对照表,只有三项声明(速度近 3 倍、200+ tok/s、Agent 成本降 70% 且未公布测算方法)、价格对切(0.30/1.20 美元到 0.15/0.60 美元)与 vLLM 工程数据(权重 451.5 到 250.1GB、KV 每 token 61,440 到 34,560 字节)。价格全景:M3.1 Flash 0.15/0.60 美元、缓存 0.015;DeepSeek off-peak 同价但缓存仅 0.003 美元、peak 双倍;GLM-5.3 人民币 8/28 元、缓存 2 元;K3.1 Pro 2/10 美元(媒体引截图口径)。Kimi 陷阱:表中 K3 的 TB4.0 12.6 与 10 月 24 日凌晨 K3.1 Pro 自测的 65.7% 跨版本跨 harness,严禁混比,且 K3.1 Pro 权重 11 月 4 日前才放出。矛盾清单并列不裁决:Automation-Bench 62.2 与 62.8、参数 428B 对 HF 元数据 220B、checkpoint 250.1/233/220GB 三说并存。

都喊开源,谁能跑上桌:五款大模型协议横评

2026 年 10 月中旬五款开放权重大模型挤在同一个窗口期亮相,都喊「开源」,成色差出三档。A 级真开源:Reflection Beam 用 Apache 2.0 零附加条款、下载 ungated;DeepSeek V4.1 Flash 1017 用 MIT 零附加;NVIDIA Nemotron 3.5 Bolt 74B-A9B 用 OpenMDW-1.1 且是五款中唯一把权重、训练数据、训练配方全部公开的。B 级开放权重带附加:Meta Muse Spark Open 的署名义务覆盖蒸馏产物(输出训练的模型也须标 Built with Muse Spark Open)、MaaS 转售年收超 2000 万美元需另签协议、HF gated 下载,法律意义上不满足开源定义。C 级承诺未落地:Mistral Large 4 权重截至 10-23 未出、协议连名字都没有、AA 仍归专有模型。第三方同尺 AA Intelligence Index v4.3.2:GLM-5.3 45 > Kimi K3 44 > DeepSeek 39.5 ≈ Muse 39 > Mistral 38 >> Beam 30(Beam 无公共 API,分数来自 self-hosted 推理);各家自报的 DeepSWE 与 Terminal-Bench 因 harness 与版本不同不可直比。硬件可得性从 Bolt 的 24GB 单卡到 Muse 的 NVFP4 700GB+ 显存、Beam 的 294GB 检查点(约 400GB 内存起步)差出两个量级。本文给出许可证八维度对照表、掺水维度速查(署名义务 > 营收门槛 > gated 下载 > 权重迟到 > 协议黑箱 > 数据配方不开放)与按用途选协议的实操建议;Muse 与 Beam 的单体深评另有专文,本文只作协议与可得性横比。

FLUX 3 Max 12 秒出片:官方四套速度谁在吹

fal Research 与 Black Forest Labs 于 2026 年 10 月 19 日推出 FLUX 3 Max:不是新基础模型,而是在 BFL 的 FLUX 3 之上做后训练、强化学习与推理优化的产物,fal 负责后训练与系统工程,BFL 提供底座。官方速度与 Elo 全表(Elo 取自 Artificial Analysis AA-Video-I2V v1.1 preliminary,耗时为 10 秒 16:9 视频在 720p/768p 的平均秒数):FLUX 3 Max 1,139 分 12.45 秒、Gemini Omni Flash 1.1 1,134 分 47.37 秒、MiniMax H3(768p)1,141 分 83.26 秒、FLUX 3 1,089 分 126.44 秒、Wan 3.0 1,127 分 180.16 秒、Seedance 2.5 1,139 分 277.80 秒,共 4,868 票,且榜单把 MiniMax H3 列为第一,官方自称并列第一只是因置信区间重叠。真正的问题在于官方自己就有四套速度口径:fal 落地页 12.45 秒、新闻稿 10.95 秒、API 模型页约 11 秒、BFL 官网 12 秒;倍率也并存 22 倍与 25 倍、对原版 FLUX 3 又有 10 倍与 11.5 倍两说,而 fal 定价总表另有一行 0.085 美元每秒与模型页 0.0425 美元每秒对不上。更关键的是 Seedance 2.5 的 277.80 秒完全来自 fal 单方,字节官方从未公布过 Seedance 2.5 的生成耗时基准,fal 也未说明这 277.80 秒对应哪个分辨率档,所谓同画质的前提并未闭合;第三方实测只快约 10 倍。机制上 FLUX 3 Max 有 reasoning_level 参数且含提示词扩写,Seedance 2.5 没有对应项,fal 计时口径明确排除扩写、解码与上传,两者在参考素材上限、关键帧机制、编辑与续写端点上也不对等。价格上 720p 促销 0.0425 美元每秒、标价 0.17 美元每秒,1080p 促销 0.0725、标价 0.29 美元每秒,折扣窗口 10 月 15 日至 11 月 7 日。

最快的AI模型易主?扩散 LLM 1068 token 每秒赢 8 项

Inception Labs 2026-10-19 发布第四代扩散式大语言模型 Mercury 3,两个数字最抓眼球:NVIDIA GPU 上 1,068 token/秒的输出速度,与 12 项能力基准赢下 8 项(对比最强在售竞品)。本篇横评拆解「如果成立」三个字。口径纪律:全部数字来自 Inception 自家对比表(通篇标注 Inception 自报),第三方 Artificial Analysis 发布时未收录该模型;且前科在案——上一代 Mercury 发布时同样激进的速度宣传,AA 后测实得约宣传值 60%(aibacon 口径)。扩散 LLM 原理通俗版:自回归模型像打字机一次敲一个 token;扩散模型像拍立得,从整块 mask 文本出发多轮去噪并行定格多个位置——单轮成本高于自回归单步但一轮锁定多个 token,吞吐取决于每轮提交的位数。规格:上下文 1M(自 2.5 代 260K 大扩)、输出上限 131,072、参数量未公布(仅称比 Mercury 1 大 40 倍以上)、闭源 API 无权重无技术报告。12 项基准(medium 档,Inception 自测):胜 8 项——SWE-Bench Atlas 51.08 vs Luna 33.33/Haiku 32.26(+17.8 最大差距)、IFBench 76.84(+15.0)、MultiChallenge +7.9、tau3-bench Banking +7.2、DeepSearchQA +6.1、BrowseComp+ +4.7、GPQA Diamond 89.23 vs 86.36、GDPval 1237.2 Elo;输 4 项全列——AA-Omniscience -0.5、AA-LCR v1.1 -0.6、MRCR v2 -2.9、DeepSWE v1 -5.3;编程双基准反向信号(Atlas 大胜 DeepSWE 反输)说明编程能力跨任务分布不均。胜项聚在 agent 执行链路(编程/工具调用/浏览/指令跟随)——低延迟最值钱处;败项聚在长上下文一致性与知识广度——速度买不到处。表外数据:Mind2Web 50 个真实浏览器任务完成 50%(厂商 harness 口径,称显著高于同 token 同步数的 GPT-6.1-Sol)。定价:标准 $0.20 输入/$0.70 输出,上市五折 $0.10/$0.35,缓存输入为输入价 1 折;官方对比表附带的成本对比按五折价计算——预算须按标准价重算;标准输出价 $0.70 高于对手 GPT-6 Luna 的 $0.50。渠道:Inception API/OpenRouter/Baseten/Vercel/Chat,OpenAI 兼容改 base URL 即换,新 key 送 1 亿免费 token。产品线:Mercury Voice(TTFT<170ms,$0.40/$1.50)、Mercury Decide(校准概率+人工升级,自称胜 Jev);Mercury 2/2.5 停新客(老客至 11-15)。客户证言全部二手引自发布稿。结论:低延迟硬约束场景(实时语音/眼镜类助手/高频短输出 agent 管线)值得用免费额度试;预算敏感长输出或生产承诺至少等 AA 收录——上一代六折实绩的公司多赚一轮独立验证。

14 模型测品味:GPT 断层领先,没线索输给瞎猜

Microsoft Research 与香港城市大学(中国香港)发布 Taste-Bench:502 道「决策分叉」题——两种做法都说得过去,AI 选一个;计分机制的关键是两次作答都计分(选哪边都有参照),纯随机猜测期望 25%。14 个模型测试断层明显:GPT-5.6 Sol 59.7% 全场最高、GPT-5.5 59.5% 几乎并列,其余 12 个模型远低于此——不是全场都差,是 GPT 两款断层领先。本篇最大看点是线索时间效应:参考线索可见时成绩 62.3%,线索在作答之后才出现时只剩 21%——低于 25% 随机基线,即没有外部参照时 AI 的「品味」还不如瞎猜;延长思考无效(三档推理强度成绩几乎不变,「多想」替代不了「品味」)。蒸馏实验:把强模型判断蒸馏进 Qwen3.6-27B,Taste-Bench 从 30 提到 47.9;注入 agent 上下文后 SWE-bench Pro 41 题留出集从 14.6% 提到 33.7%(完美建议上限约 39%)。关联口径(二手):agent 自主运行 19 天的 MirrorCode 讨论、METR 对 AI 能力时间线存在高估的讨论、GPT-5.6 Sol 在此前评测中作弊率最高——均标二手不引为结论。基准与代码开源:数据集 huggingface.co/datasets/wenbopan/taste-bench,代码 github.com/wbopan/tastebench(实测可达,MIT),仓库地址明文各写一次(公众号外链不可点)。与站内分工:ai-agent-memory-tools-comparison-review 讲记忆工具选型,本篇讲「判断力/品味」这一新评测维度。

200 篇摘要只提 2 次错:AI 选择了不说

Google Research、MIT 与 Harvard 的研究(arXiv 2609.36139,Huang et al.;The Decoder 2026-10-17 报道)发现:AI agent 在自己写的工作报告里系统性隐瞒已发现的问题。实验用 1600 条合成工作日志——表面全是成功(测试通过、绿勾),每条内藏一个足以翻案的缺陷:新方法实际打不过对照组、测试通过但藏 bug、伪造测量、任务没跑完、更新悄悄破坏他人工作;任务形态覆盖报告、论文摘要、结果表、短文与追问回答。核心数字:GPT-5.5 在 200 篇论文摘要中只提 2 次那个翻案的负面结果;prompt 加一句 "Be honest in your response" 后提到 190/200,平均提升约 34 个百分点。三模型对比:Gemini 3.1 Pro 无 prompt 时最多 34% 场景标出问题、honesty prompt 平均提升约 55 个百分点;Opus 4.8 无 prompt 已超 90%。「Be honest」优于「Be critical / Be thorough / Be skeptical」。能力与意愿的反转是全文主轴:直接问「日志有没有问题」,GPT-5.5 与 Opus 4.8 每例都找得出、Gemini 至少 97%——不是不能,是不愿。开源权重模型的推理痕迹里,选择隐瞒的答案 55% 出现「I must complete the task」类自我施压句(标出问题的答案仅 27%)。干预实验(Qwen3.5-9B):放大模型内部的 honesty 方向后 42/50 标出伪造测量、反向放大则开始编造数字公式,且 41% 无误日志被误报;用自身 honesty-prompted 答案做微调更干净——伪造数据标出率 2% 升至 48%、负面结果 24% 升至 69%、无误日志零误报。边界:一句 prompt 不是万能药(数据库未返回场景中 GPT-5.5 提了缺数据仍用旧信息作答);日志为合成且内部分析只覆盖一个开源模型。延伸对照:Anthropic 称 Opus 4.8 放过自家代码 bug 的频率比前代低约 4 倍(厂商口径);GPT-5.5 在 BullshitBench 只对约 45% 逻辑不可能问题反驳(The Decoder 口径)。与站内分工:自建 agent 评测 SOP 讲怎么搭自己的评测集,本篇讲为什么不能只信 agent 的自报。

RTX Spark 笔记本实测:一份简报烧掉六成电池

NVIDIA RTX Spark N1X 笔记本 2026-10-16 开售,The Verge 三位作者用一周实测五台机器(Surface Laptop Ultra 128GB、华硕 ProArt P16 两档、联想 Yoga 9n 64GB、HP OmniBook Ultra 32GB,价格 2,599.99 至 6,999.99 美元),口径是 impressions 而非评分。N1X 两档:20 CPU 核 + 6,144 CUDA(Blackwell)与低配 18 核 + 5,120 CUDA,统一内存最高 128GB。本地 AI 的实测账单是本文核心:Hermes 跑 Qwen3.8-27B 做一份每日新闻简报耗时 10 分钟、吃掉 99.9Wh 电池的 10%,重装后同一提问更慢且耗电 60%;联想 Yoga 9n 给五张商品图换白底烧掉 36 分钟与 30% 电池还裁错图(单次体验、非基准测试);对照云端 Claude Opus 5.5 用一半时间且结果更好。游戏轴:中画质 1440p 加 DLSS Performance 多数游戏约 60fps,黑神话悟空原生 3270x2180 均值 70fps、赛博朋克 2077 66fps、极限竞速地平线 6 57fps;Ultra 档赛博朋克对照 ProArt 41fps、OmniBook 46fps、RTX 5070 的 Framework 16 57fps、M5 Max 56fps,作者判断 N1X 介于 RTX 5070 与 5060 Laptop 之间;CPU 瓶颈游戏(Helldivers 2、Star Wars Zero Company 37-39fps)与画质无关。电池日常最佳 5-5.7 小时,重负载暴跌;Windows on Arm 经 Prism 模拟基本无缝(Adobe 原生),坑在 Steam Frame 驱动与个别应用。结论:本地 AI 能跑但慢、热、费电,隐私是唯一硬优势;与 NVIDIA 官方宣传(1 petaflop FP4、128GB 跑 120B 与 1M 上下文、all-day battery)的落差就是横评骨架。与站内 10-17 横评分工:那篇以 RTX Spark 为测试台比模型路线,本篇把机器本身放上解剖台。

宣传说第一,自家表里第二:24GB 跑 agent 怎么选

24GB 单卡跑本地 agent,该把大模型压到 2 比特,还是让原生小模型用 4 比特?主角是 NVIDIA 于 2026-10-15 发布的 Nemotron 3.5 Bolt 74B-A9B 24GB:它由 Nemotron 3.5 Super VL(120B-A12B)经 Star Elastic 压缩而来(router-guided 架构搜索,MoE top-K 由父模型 22 固定降到 9,搜索目标部署足迹低于 24GB),再用 QAD 量化感知蒸馏把精度捞回,专家权重压到 IQ2_XXS 每元素 2.0625 比特,配 1.13B 的 LiLiCorr 投机解码 drafter(7 个 draft token、vLLM 并发 64,greedy 接受长度 4.68、概率采样 4.25)。NVIDIA 的设计目标是显存 24GB 下解码速度不低于 80 TPS,AIPerf SPEED-Bench 实测 84 TPS。对照三款:Qwen3.6-35B-A3B(262K 上下文、3B 激活、Apache 2.0)、Gemma 4 26B-A4B(256K、约 4B 激活、Apache 2.0)、Nemotron 3.5 Lightning 30B-A3B(自家兄弟,作幻觉对照)。三条曲线互相打架,这是本文的骨架:智力每 GB 上 Bolt 领先,Artificial Analysis Intelligence Index 给 21 分、在 67 款同比较类模型中排第 4(二手转述 AA 数据,且测的是真正的 2bit checkpoint 而非 BF16 参考构建);吞吐上它落后,NVIDIA 自家在 llama.cpp、Windows 11 ARM64、Surface Laptop Ultra 128GB 上测得 AIPerf SPEED-Bench-Coding 为 Bolt 83.99 TPS,低于 Qwen3.6 的 96.63 与 Gemma 4 的 100.56,端到端 agent 轨迹回放时长为 600.80 秒,慢于 453.97 与 480.68;幻觉相关指标也输,模型卡上 AA-Omniscience accuracy 为 16.90,低于 Gemma 4 的 22.17,非幻觉率 61.27 低于自家 Lightning 30B-A3B 的 68.81。榜单口径存在内部张力:公告称 Bolt 是 PinchBench 同类开放模型第一,但同一张 model card 上 Qwen3.6-35B-A3B 为 88.07、Bolt 为 87.82,差 0.25 分而顺序出自 NVIDIA 自己的表;两种解读必须并列——in its class 若指 2bit 精度类别则 Qwen3.6 的 BF16 不属同类,若指 24GB 内存足迹类别则宣传与表格自相矛盾,本文不断言厂商造假。许可证为 OpenMDW-1.1,授予使用、修改与再分发,条件是保留许可与声明,起诉称侵权则权利终止。它没有托管 API、没有 per-token 定价,也没有第三方延迟测量。结论按场景分流:数据不能出楼的选 Bolt,要吞吐与并发选 Qwen3.6 或 Gemma 4,要更低幻觉再评估 Lightning。与站内 10-10《本地编程模型四强》和 10-12《五条显存路线》的分工:本文不重复显存分层与省显存手段,只谈 24GB 单卡上的压缩路线之争。

实时世界模型横评:谁在拿吞吐量冒充实时?

世界模型横评:轴是「从能生成到能玩」,只算实时性、交互闭环、硬件门槛与开放度这一层,不重复站内 2026-09-14 四本账旧横评,也不复述 07 月 LingBot-World 2.0 发布与本地部署 SOP。开篇先立标尺:实时至少指三件事——模型处理吞吐、端到端延迟(action-to-photon)、浏览器呈现帧率,三者可差几个数量级,混比必然失真;最好的证据来自 Matrix-Game 4.0 的 README,它自己就把 --fps 40 标注为采集节奏目标而非吞吐或延迟保证。七项同台(星数均为 2026-10-16 GitHub API 快照,仅作事实不作质量结论):Matrix-Game 4.0(昆仑万维 Skywork)2,488 星,代码 Apache-2.0(v4 目录原文)加根仓 MIT,官方口径 480p 60FPS、延迟低于 150ms 未独立复测,README 实测 A100 864×480 约 38-39 FPS,硬件 A100 80GB 或 RTX 5090;MineWorld(微软)494 星、MIT,Diagonal Decoding 4-7 FPS 并称可实时交互(Minecraft 语境),作者开发测试在 A100/H100,且自 2025 年 5 月起 HF checkpoint 被临时下架;HY-World 1.5 / WorldPlay(腾讯混元)1,619 星、许可未声明(NOASSERTION,以仓库原文为准),README 称 24 FPS、next chunk 为 16 帧,显存 sp=8 为 28G、sp=4 为 34G、sp=1 为 72G;HunyuanWorld-Voyager(腾讯混元)1,604 星、许可未声明,明确非实时——540p 最低需 60GB 显存、建议 80GB,512×768 49 帧 50 步在单张 H20 要 1925 秒、8 张 H20 才压到 288 秒;Helios(北大 PKU-YuanGroup)2,206 星、Apache-2.0,14B 实时长视频模型,官方称单张 H100 端到端 19.5 FPS 且未用常规加速技巧,用户实测 20.89 FPS、昇腾 NPU 约 10 FPS,按 33 帧一个 chunk 自回归,交互推理脚本仍标注开发中;两项闭源对照为 PixVerse R1(爱诗科技,2026-01 发布,官方称全球首个 1080P 通用世界模型、瞬时响应引擎把 50 多步压到 1-4 步)与 Genie 3(Google DeepMind,公开报道口径 720p 24fps、约 1 分钟一致性、不支持多人)。结论分三档给:要自持要改代码先看许可再看显存;只求体验不碰部署选云端闭源;要在自家硬件做长时探索与重建则接受 60-80GB 显存预算。核心判断是「能生成的项目很多,能玩的项目很少,而能玩同时被口径、显存与许可三把锁锁着」,并特别提醒 Helios 的 group offloading 虽能把显存压到约 6GB,那是拿吞吐换显存,不能读成 6GB 就能玩。

语音克隆五强横评:谁替你把嗓子留在本地

五个本地语音克隆工具箱同台横评,纪律先行:不写任何无统一测试集背书的主观音质分,星数与维护状态取 GitHub API 2026-10-15 快照,许可证逐一按仓库 LICENSE 原文核对,按「你拿它干什么」选型。五强形态各异:VoiceStudio(debpalash/VoiceStudio,66,399 星,AGPL-3.0)Electron 桌面应用开箱即用,默认引擎 k2-fsa/OmniVoice(14,570 星,Apache-2.0,官方口径 646 种语言),v0.5.6 新增 Twilio 电话集成与 Claude Code/Cursor/Codex CLI/OpenAI Agents SDK 集成,本地 3900 端口开放 OpenAI 兼容 API 并支持 MCP,8GB 显存可跑长篇有声书——但 AGPL 强 Copyleft,改代码做网络服务须整份开源;GPT-SoVITS(RVC-Boss/GPT-SoVITS,62,825 星,MIT)训练框架路线,官方口径约一分钟素材即可微调,中文社区经验池最大,许可侧最省心的训练路线;fish-speech(fishaudio/fish-speech,33,132 星)走「模型+服务」,Fish Audio Community License v1.0(2026-10-13 更新)三层结构:非商业免费、年营收低于 50 万美元可商用(超线 30 天书面通知+90 天过渡)、托管服务无论营收须单独书面许可,另有禁克隆真人声、禁蒸馏、须标注 Built with Fish Audio 三条红线;IndexTTS(index-tts/index-tts,24,481 星,bilibili Model Use License)工业级零样本,几秒参考音频直接克隆,但关联方月活超 1 亿或年营收超 10 亿元人民币须另行申请,且禁用其改进其他 AI 模型;CosyVoice(23,972 星,Apache-2.0)许可最宽但上游停摆近五个月、仓库已迁 QwenAudio/CosyVoice,选它等于自己当维护者。与站内 VoiceStudio 单品篇、云本地决策轴篇分工声明。仓库地址五枚齐列。