首页

硬核横评

主流 AI 工具的真实场景对比测试,含独家数据与对比表格。

宣传说第一,自家表里第二:24GB 跑 agent 怎么选

24GB 单卡跑本地 agent,该把大模型压到 2 比特,还是让原生小模型用 4 比特?主角是 NVIDIA 于 2026-10-15 发布的 Nemotron 3.5 Bolt 74B-A9B 24GB:它由 Nemotron 3.5 Super VL(120B-A12B)经 Star Elastic 压缩而来(router-guided 架构搜索,MoE top-K 由父模型 22 固定降到 9,搜索目标部署足迹低于 24GB),再用 QAD 量化感知蒸馏把精度捞回,专家权重压到 IQ2_XXS 每元素 2.0625 比特,配 1.13B 的 LiLiCorr 投机解码 drafter(7 个 draft token、vLLM 并发 64,greedy 接受长度 4.68、概率采样 4.25)。NVIDIA 的设计目标是显存 24GB 下解码速度不低于 80 TPS,AIPerf SPEED-Bench 实测 84 TPS。对照三款:Qwen3.6-35B-A3B(262K 上下文、3B 激活、Apache 2.0)、Gemma 4 26B-A4B(256K、约 4B 激活、Apache 2.0)、Nemotron 3.5 Lightning 30B-A3B(自家兄弟,作幻觉对照)。三条曲线互相打架,这是本文的骨架:智力每 GB 上 Bolt 领先,Artificial Analysis Intelligence Index 给 21 分、在 67 款同比较类模型中排第 4(二手转述 AA 数据,且测的是真正的 2bit checkpoint 而非 BF16 参考构建);吞吐上它落后,NVIDIA 自家在 llama.cpp、Windows 11 ARM64、Surface Laptop Ultra 128GB 上测得 AIPerf SPEED-Bench-Coding 为 Bolt 83.99 TPS,低于 Qwen3.6 的 96.63 与 Gemma 4 的 100.56,端到端 agent 轨迹回放时长为 600.80 秒,慢于 453.97 与 480.68;幻觉相关指标也输,模型卡上 AA-Omniscience accuracy 为 16.90,低于 Gemma 4 的 22.17,非幻觉率 61.27 低于自家 Lightning 30B-A3B 的 68.81。榜单口径存在内部张力:公告称 Bolt 是 PinchBench 同类开放模型第一,但同一张 model card 上 Qwen3.6-35B-A3B 为 88.07、Bolt 为 87.82,差 0.25 分而顺序出自 NVIDIA 自己的表;两种解读必须并列——in its class 若指 2bit 精度类别则 Qwen3.6 的 BF16 不属同类,若指 24GB 内存足迹类别则宣传与表格自相矛盾,本文不断言厂商造假。许可证为 OpenMDW-1.1,授予使用、修改与再分发,条件是保留许可与声明,起诉称侵权则权利终止。它没有托管 API、没有 per-token 定价,也没有第三方延迟测量。结论按场景分流:数据不能出楼的选 Bolt,要吞吐与并发选 Qwen3.6 或 Gemma 4,要更低幻觉再评估 Lightning。与站内 10-10《本地编程模型四强》和 10-12《五条显存路线》的分工:本文不重复显存分层与省显存手段,只谈 24GB 单卡上的压缩路线之争。

实时世界模型横评:谁在拿吞吐量冒充实时?

世界模型横评:轴是「从能生成到能玩」,只算实时性、交互闭环、硬件门槛与开放度这一层,不重复站内 2026-09-14 四本账旧横评,也不复述 07 月 LingBot-World 2.0 发布与本地部署 SOP。开篇先立标尺:实时至少指三件事——模型处理吞吐、端到端延迟(action-to-photon)、浏览器呈现帧率,三者可差几个数量级,混比必然失真;最好的证据来自 Matrix-Game 4.0 的 README,它自己就把 --fps 40 标注为采集节奏目标而非吞吐或延迟保证。七项同台(星数均为 2026-10-16 GitHub API 快照,仅作事实不作质量结论):Matrix-Game 4.0(昆仑万维 Skywork)2,488 星,代码 Apache-2.0(v4 目录原文)加根仓 MIT,官方口径 480p 60FPS、延迟低于 150ms 未独立复测,README 实测 A100 864×480 约 38-39 FPS,硬件 A100 80GB 或 RTX 5090;MineWorld(微软)494 星、MIT,Diagonal Decoding 4-7 FPS 并称可实时交互(Minecraft 语境),作者开发测试在 A100/H100,且自 2025 年 5 月起 HF checkpoint 被临时下架;HY-World 1.5 / WorldPlay(腾讯混元)1,619 星、许可未声明(NOASSERTION,以仓库原文为准),README 称 24 FPS、next chunk 为 16 帧,显存 sp=8 为 28G、sp=4 为 34G、sp=1 为 72G;HunyuanWorld-Voyager(腾讯混元)1,604 星、许可未声明,明确非实时——540p 最低需 60GB 显存、建议 80GB,512×768 49 帧 50 步在单张 H20 要 1925 秒、8 张 H20 才压到 288 秒;Helios(北大 PKU-YuanGroup)2,206 星、Apache-2.0,14B 实时长视频模型,官方称单张 H100 端到端 19.5 FPS 且未用常规加速技巧,用户实测 20.89 FPS、昇腾 NPU 约 10 FPS,按 33 帧一个 chunk 自回归,交互推理脚本仍标注开发中;两项闭源对照为 PixVerse R1(爱诗科技,2026-01 发布,官方称全球首个 1080P 通用世界模型、瞬时响应引擎把 50 多步压到 1-4 步)与 Genie 3(Google DeepMind,公开报道口径 720p 24fps、约 1 分钟一致性、不支持多人)。结论分三档给:要自持要改代码先看许可再看显存;只求体验不碰部署选云端闭源;要在自家硬件做长时探索与重建则接受 60-80GB 显存预算。核心判断是「能生成的项目很多,能玩的项目很少,而能玩同时被口径、显存与许可三把锁锁着」,并特别提醒 Helios 的 group offloading 虽能把显存压到约 6GB,那是拿吞吐换显存,不能读成 6GB 就能玩。

语音克隆五强横评:谁替你把嗓子留在本地

五个本地语音克隆工具箱同台横评,纪律先行:不写任何无统一测试集背书的主观音质分,星数与维护状态取 GitHub API 2026-10-15 快照,许可证逐一按仓库 LICENSE 原文核对,按「你拿它干什么」选型。五强形态各异:VoiceStudio(debpalash/VoiceStudio,66,399 星,AGPL-3.0)Electron 桌面应用开箱即用,默认引擎 k2-fsa/OmniVoice(14,570 星,Apache-2.0,官方口径 646 种语言),v0.5.6 新增 Twilio 电话集成与 Claude Code/Cursor/Codex CLI/OpenAI Agents SDK 集成,本地 3900 端口开放 OpenAI 兼容 API 并支持 MCP,8GB 显存可跑长篇有声书——但 AGPL 强 Copyleft,改代码做网络服务须整份开源;GPT-SoVITS(RVC-Boss/GPT-SoVITS,62,825 星,MIT)训练框架路线,官方口径约一分钟素材即可微调,中文社区经验池最大,许可侧最省心的训练路线;fish-speech(fishaudio/fish-speech,33,132 星)走「模型+服务」,Fish Audio Community License v1.0(2026-10-13 更新)三层结构:非商业免费、年营收低于 50 万美元可商用(超线 30 天书面通知+90 天过渡)、托管服务无论营收须单独书面许可,另有禁克隆真人声、禁蒸馏、须标注 Built with Fish Audio 三条红线;IndexTTS(index-tts/index-tts,24,481 星,bilibili Model Use License)工业级零样本,几秒参考音频直接克隆,但关联方月活超 1 亿或年营收超 10 亿元人民币须另行申请,且禁用其改进其他 AI 模型;CosyVoice(23,972 星,Apache-2.0)许可最宽但上游停摆近五个月、仓库已迁 QwenAudio/CosyVoice,选它等于自己当维护者。与站内 VoiceStudio 单品篇、云本地决策轴篇分工声明。仓库地址五枚齐列。

Character.AI 破产:2000 万美元底价,用户迁去哪

Character.AI 于 2026-10-12 在美国特拉华州申请 Chapter 11(Section 363 出售全部或实质全部资产):迪士尼以 2,000 万美元任底价竞标人(求购部分 IP 的非独占永久许可+部分法律 claims+前员工过渡服务),法庭文件显示资产与负债各估 5,000 万~1 亿美元,出售预计 11 月下旬至 12 月初完成,无可行买家平台将逐步关停;公司归因高昂开发成本+潜在诉讼+监管(官方更新口径),停止自研大模型后依赖外部模型使用成本巨大(The Information 口径);2024 年 8 月谷歌 27 亿美元许可交易后创始团队已回归谷歌。本文借事件做选型横评:中国首部 AI 情感陪伴国家级监管《人工智能拟人化互动服务管理暂行办法》2026-07-15 施行(红线含禁情感操纵诱导、自残倾向人工强制接管、禁向未成年人提供虚拟伴侣、连续 2 小时防沉迷提醒),豆包与千问 7 月下线智能体、数据仅部分可迁猫箱(AIGCRank 5 月口径:猫箱日活 25.7 万、星野 30.1 万);海外按「你为什么离开 Character.AI」倒推路线——记忆连续型(Replika/Kindroid/Nomi)、少过滤托管(Janitor AI)、移动低门槛(Chai/Talkie/PolyBuzz)、多模型枢纽(Poe)、故事向(AI Dungeon)、开源自托管(SillyTavern,AGPL-3.0 实测 34,416 星:角色卡 v2/World Info/群聊/图像/TTS/本地隐私,诚实边界:Smart Context 已无人维护、需自备模型源)。各平台价格为 2026 年报道口径,以官网为准。站内首篇 AI 陪伴/角色扮演选题。仓库地址:github.com/SillyTavern/SillyTavern。

Mermaid 不是唯一解:四条路线怎么选

AI 时代画图表的四条路线横评,按「图的下游用途」选型而非排名:图要进代码仓库、每个 sprint 都变、要干净的 git diff,选 Mermaid(diagram-as-code,90,636 星、MIT、GitHub 原生渲染 Markdown,代价是版式不可控);要人与人协作草图与快速共创,选 Excalidraw(133,741 星、MIT,手绘风白板);要正式画布与精细控制,选 draw.io(8,722 星、Apache-2.0,注意口径:仓库星数仅指源码,draw.io 用户量远大于此);要发布或演示级、品牌一致的图,选 diagram-design(52,787 星、MIT,agent skill 形态,注入 Claude Code/Codex/Cursor 等,44 种图类型、三变体、4px 网格、单一强调色、目标密度 4/10,输出自包含 HTML + inline SVG 可导 SVG/PNG,安装 npx skills add cathrynlavery/diagram-design;选型结论标 README 对比表口径)。全部星数为 2026-10-13 GitHub API 实测。诚实边界:diagram-design 输出质量依赖所配模型,同一 prompt 两次布局可能不同;无原生 .drawio 画布、无图文本可 diff。与站内 9 月 15 日《AI 图表工具横评》分工:那篇答「图生成之后归谁、以何形态存在」(五项目含 D2/PlantUML),本篇答「按下游用途选路线」并新增 draw.io 对象。

显存差一半就跑不动:五条路线各能救到哪一步

显存不够时跑大模型的五条路线横评,各归其位不排座次:①分层流式(airllm,不量化不剪枝,逐层搬运,显存最小速度最慢)②GGUF 量化(Ollama/llama.cpp/LM Studio,压权重换显存,质量有损、生态最成熟)③CPU offload 混合(部分层留显存部分落内存,速度取决于 PCIe 与内存带宽)④蒸馏或小模型(工程最省心、质量损失最大)⑤远程托管 API(显存问题不存在,成本按量转移到服务商)。五轴对比:显存占用 / 速度 / 质量损失 / 部署复杂度 / 适用人群。airllm 显存数字全部标 README 口径并带硬件(27B 3.33GB@RTX 3090、Flash-Next 125B 5.95GB@RTX 4090、Kimi K3 2.8T 3.72GB@RTX 6000 Ada、DeepSeek-V3 671B 约 12GB,均官方自报本文未复现);速度不做跨路线跑分只做定性(官方未给 tokens/s 不编数字);Kimi K3 为 2.8T 总参、激活 1040 亿、896 专家每 token 激活 16 个,许可为修改版 MIT(非标准 MIT)。与站内《本地部署工具横评》分工明确:那篇比工具(界面/上手/并发/吞吐),本篇比内存策略路线,工具是路线的执行者。灵魂结论:真正要回答的不是哪种方法最强,而是你缺的是显存、是内存、还是速度。

agent 替你啃二进制:逆向工程不用学汇编了

逆向工程工具四强横评(各归其位,不排谁最强):REA(morluto/rea,84,088 星 MIT,GitHub API 2026-10-11 实证)是 agent 编排层,把 Ghidra/IDA/Hopper/JADX 挂到编码 agent 上自动跑「反编译→追踪→复刻」循环;Ghidra(NSA 出品,83,007 星 Apache-2.0,最新 12.1.4_build 2026-09-21,GitHub Releases 实证)是免费手工权威、反编译 GUI 事实标准,也是 REA 的原生分析后端之一;Cutter(19,977 星 GPL-3.0,Rizin 驱动)是轻量开源 GUI,快速看二进制;IDA Free(Hex-Rays 官方免费版,条款以 hex-rays.com 官网原文为准)是商业级反编译质量的免费入口。五轴对比:上手门槛/自动化程度/分析对象覆盖/许可与价格/证据可信度(结论是否附证据)。选型按场景:想让 agent 自动调查选 REA(要会挂后端、靠证据链压幻觉)、手工逐函数啃硬骨头选 Ghidra、轻量快看选 Cutter、商业级质量选 IDA。星数全部标 GitHub API 日期口径,无跨工具跑分。

本地编程模型四强:8GB卡到8卡机各归其位

开源编程模型四强本地部署横评,比部署门槛五轴(参数/许可/上下文/硬件/运行支持),不比质量排名、无横向跑分:Mellum2.1-12B(12B MoE/2.5B 激活、Apache 2.0、131K、BF16 约 24GB 估算、vLLM 即日 GGUF 未放出);Qwen3.5-9B(9.7B 稠密、Apache 2.0、262K、Q4 约 6GB 是 8GB 卡甜点、Ollama/GGUF 全生态现成);DeepSeek-V4.1-Flash(MIT、检查点约 510GB 第三方整理口径、参数未公布不编、节点级);GLM-5.3-Flash(321.3B MoE/18B 激活、MIT、1M 上下文、FP8 约 306GiB 超两 H200 282GB、无两卡入口、8 卡 Hopper 底线、第三方托管 $0.15/$0.50 每百万)。四仓许可均 HF API 经 hf-mirror 实核 2026-10-10 全 ungated(下载量 198/838.6 万/131.6 万/639 万标日期)。全文灵魂反差:Flash 不等于小——GLM-5.3-Flash 是节点级巨兽,12B 的 Mellum 反而是四强里唯一消费卡可跑的 agent 专用模型。JetBrains 自测分各引各表严禁跨表排名,结论按场景:8GB 卡写代码选 Qwen3.5-9B、固定 GPU agent 农场选 Mellum2.1、机构级 1M 上下文选 GLM-5.3-Flash、DeepSeek 系生态选 V4.1-Flash(后两者节点预算)。

开源视频模型对比:许可显存地区三道坎

开源视频模型四强横评,比「本地部署门槛」五轴:许可/显存/音频/时长与分辨率/地区限制,不比生成质量、无横向跑分不排名。LTX-2.5(22B,distilled/FP8 12GB 起步,24kHz 立体声同步,LTX Community 许可 $10M 门槛 gated=auto);Wan 2.2(TI2V-5B,8GB+offload,Apache 2.0 最宽松,短片 480p-720p,无原生音频);HunyuanVideo 1.5(8.3B,14GB 起,4090 step-distilled 约 75 秒/条,腾讯社区许可不适用 EU/UK/南韩、1 亿 MAU 需另谈,无原生音频);MiniMax H3(33B dense,32kHz 立体声+对白 11 语言,15s/768p 默认而 2K 需未开源 regenerator,社区许可排除 EU/UK/南韩/美国、超 $20M 需书面授权,显存无统一口径不编)。各家数据标来源(bestfreewebresources/pinggy 整理+官方模型卡口径);fal H3 Max i2v with audio 榜 #1 为第三方口径。选型结论按场景给不仲裁:要最宽松许可选 Wan 2.2,要音画一体选 LTX-2.5,24GB 卡且不受地区限制选 HunyuanVideo 1.5,要参考音频/多语对白选 H3(在许可适用区内)。

嵌入模型选型:RAG四强横评,换错重嵌全库

RAG 嵌入模型四强横评(价格口径 2026-10-09 官方页快照):EmbeddingGemma 2、Qwen3-Embedding(0.6B/4B/8B)、BGE-M3、OpenAI text-embedding-3-large,另附 gemini-embedding-001 对照行。许可全部 HF API 实核(2026-10-09):google/embeddinggemma-2 与 Qwen3-Embedding-8B 均 apache-2.0 ungated,BAAI/bge-m3 为 mit(3370 万下载)。工程账逐项对齐:上下文 8192(EG2/BGE-M3/OpenAI)vs 32768(Qwen3);维度 768(MRL 裁至 128)/1024-4096/1024/3072(MRL 至 256);价格三款自部署免费 vs OpenAI 每百万 token 0.13 美元。纪律先立:各家基准分各引各表(EG2 的 MTEB Code +9.92 与 gemini-embedding-001 三榜第一均为官方自报口径;Qwen3-8B 多语约 70.6 为第三方转述),严禁跨表排名;生产流行度(转述 LangChain/LlamaIndex telemetry):BGE-M3 第一、Qwen3 第二、OpenAI 第三。结论按场景给不仲裁:端侧多模态选 EG2、长文档与中文选 Qwen3、混合检索与成熟生态选 BGE-M3、零运维 API 选 OpenAI;换模型=全库重嵌,先想清楚再动手。