一、一小时录音、八个说话人，权重真的放出来了
把一小时会议录音变成一份「谁说了什么、术语全对、格式工整」的文稿，过去要么靠人工听打，要么忍受级联流水线的错误叠加。10 月 28 日，NVIDIA 把自己的解法放了出来：Nemotron 3.5 Transcribe 开放权重，同步上架 Hugging Face 与 ModelScope。仓库在这里：NVIDIA-Nemotron-3.5-Transcribe-30B-A4B。仓库地址：huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B。
定位先立准，三个限定词一个都不能省。第一，它是转写模型：官方在模型卡与 NVIDIA 研究页给的定位是「可提示（promptable）的离线语音-音频模型」，架构属于 SALM（Speech-Augmented Language Model），面向录音转文字。第二，它是 MoE：按模型卡口径，总参数 34B（含音频编码器），每个 token 只激活约 4.3B——这是它单卡能跑的底气，后文细说。第三，它不支持流式：官方明示内部音频分块不等于流式服务，它处理的是已经存在的录音，不是边听边出的实时字幕。
分工声明先行。上一篇写过腾讯混元同传开源，那是边听边译、抢延迟的同声传译，服务「正在发生的对话」；本篇解决另一件事——面对「过去的声音」，把一小时、八个说话人的会议录音，变成一份谁说了什么都分得清的文稿。转写不等于同传，选型时别拿错工具。
二、许可证：OpenMDW-1.1，商用白纸黑字允许
开源模型能不能商用，看许可字段，不看媒体标题。模型卡 License 字段与 NVIDIA 研究页标注一致：OpenMDW-1.1，官方原话是 ready for commercial or non-commercial use。这个许可由 Linux 基金会与 PyTorch 基金会在 2025 年推出，专为机器学习模型分发设计，属于宽松许可。
按 OpenMDW-1.1 标准文本（以 NVIDIA 系仓库公开的许可原文为准），关键条款有五条：免费、无限制授予对模型材料的处置权，覆盖版权、专利、数据库权利与商业秘密；再分发时须保留协议副本与版权、来源声明；主动发起专利或版权诉讼即终止授权，被诉反制除外；对模型输出不附加任何限制或义务；按「现状」提供、无担保。最后一条落到转写场景就是：录音本身合不合法、有没有取得被录者的授权，清权责任在使用者手里，模型方不管。
结论一句话：可商用、可再分发、可微调，无需额外授权。这个判断有模型卡、研究页与多家独立媒体三方一致支撑，不是转述者的乐观推断。
三、名字里的 30B 与模型卡的 34B，一句话兼容
仓库叫 NVIDIA-Nemotron-3.5-Transcribe-30B-A4B，模型卡却写总参数 34B，两个口径打架？不打架，一句话说清：语言骨干是 Nemotron 3.5 Lightning 30B-A3B——一个 30B 总参、3B 激活的 Mamba-2 与 Transformer 混合 MoE——加上语音侧组件后，模型卡口径总参数到 34B、每 token 激活约 4.3B。仓库名沿用了骨干的命名，模型卡报的是整机规格，本篇采信后者。
语音侧长什么样，研究页给的是 Parallel Expert Encoder 设计：一个 600M 参数的 Transformer ASR 编码器，一个约 99M 参数、被冻结的 Nemotron-3-Diarization 说话人编码器，再加一个 CTC 词时间戳头，三者并行喂给语言骨干。最值得注意的细节是说话人标签的生成方式：Sortformer 说话人线索与声学特征一起进入语言模型，边解码边打标签，而不是先转写完再做事后对齐。官方据此称，这是首个在同说话人重叠语音的说话人归属 ASR 上超过专用级联系统的 SALM。
边界条件一并交代：上下文长度 65,536 token，单条录音最长 1 小时，输入 16 kHz 单声道，支持 WAV、FLAC、MP3、OGG。词级时间戳由轻量 CTC 适配器在解码后完成，把任意生成的转写对齐回音频——长录音与重度重叠语音也能给到带说话人归属的词级时间戳。
四、可提示转写：同一套权重，换指令换任务
Transcribe 这个名字容易让人以为它只会「录音变文字」，模型卡展示的能力矩阵要宽得多：40 种语言转写、31 种语言与英语互译、13 种语言说话人归属、单条最多标注 8 个说话人。同一个 checkpoint，靠自然语言指令切换输出——「转写并标注说话人」「翻译成英文」「会上做了哪些决定」「输出脱敏 PII 的转写」，都是可直接下的指令。风格也可指定：逐字稿还是书面体、语气词去留、数字格式怎么写，都能在提示词里说。
对术语敏感的场景，上下文偏置词表是关键功能：把预期实体列表交给模型，命名实体错误能降到约六分之一（官方口径 six-fold，出自 ContextASR-Bench）。官方博客给的示例词是 HbA1c 和 metformin——医疗场景里写错一个药名，代价不小。
要把这套能力用对，还有一个容易被忽略的口径：任务与语言的能力矩阵是分级的，从 Leading 到 Supported，官方博客明示音频问答仅英语训练过。40 种语言不等于 40 种语言样样领先，上生产前按自己的语言和任务对照分级表做验证，别拿能力矩阵的上限当下限。
五、成绩单：4.71% 与 5.33% 并存，先看懂口径
Nemotron Transcribe 的英文 WER 有两个数字同时成立，先讲清楚再报成绩。模型卡口径：9 个公开测试集（采集于 2026-10-12）英文 mean WER 4.71%，次优开源模型 Qwen3-ASR-1.7B 为 4.94%；7 种语言多语言平均 WER 4.62%，同样是开源最低，次优 Qwen3-ASR-1.7B 为 6.49%。榜单口径：Open ASR Leaderboard 站点上开放权重第一，平均 WER 5.33%（API 模型除外）。差异原因写得很明白：榜单从 10 月 9 日起把 Appen、DataoceanAI 的私有保留集与 URGENT24 计入平均，模型卡的 4.71% 是旧口径的 9 个公开集。两个数字都对，引用时任选其一并注明口径，不许混写。
按榜单站点 2026-10-09 口径，同期开源梯队的平均 WER 如下（Nemotron 为发布口径）：
| 模型 | 许可 | 平均 WER | 备注 |
|---|---|---|---|
| Zoom Scribe v2 Pro | 专有 | 4.70 | 闭源参照 |
| Nemotron 3.5 Transcribe 30B-A4B | OpenMDW-1.1 | 5.33 | 开源权重第一；模型卡 9 公开集口径 4.71 |
| Qwen3-ASR-1.7B | Apache-2.0 | 5.40 | 模型卡口径 4.94 |
| Cohere Transcribe 2B | Apache-2.0 | 5.77 | 长音频榜开源第一（12.23%） |
| Canary-Qwen-2.5B | CC-BY-4.0 | 5.94 | 仅英语 |
| Parakeet TDT 0.6B v3 | CC-BY-4.0 | 6.18 | RTFx 6,132 |
| Voxtral Small 24B | Apache-2.0 | 6.38 | AA-WER 2.77%，激活 24B |
| Whisper large-v3 | MIT | 7.16 | 99 语言 |
| Whisper large-v3-turbo | MIT | 7.64 | 809M，不做翻译 |
第三方实测同样值得看。Artificial Analysis 的 AA-WER：Nemotron 为 2.81%（官方转述 2.8%），与 Voxtral Small 的 2.77% 打平、开源并列第一——但激活参数一边约 4B、一边 24B，差着约六倍。语音代理集 AA-AgentTalk 一项，Nemotron 拿 1.8%，次优开源为 2.3%。
长音频与多说话人是转写场景的硬骨头：长音频 mean WER 10.98%，次优 Parakeet-TDT-0.6B-v3 为 13.37%；AMI、CALLHOME、Mixer 6、NOTSOFAR-1 四个全程录音集的平均 cpWER 15.80，对比 DiCoW v3.3 加 DiariZen 的 16.83。风格可控性上，Preference-ASR 榜默认与受指令 WER 为 7.56 与 6.16，Canary-Qwen 对应 8.16 与 8.36。
说话人归属是这次宣传的重头，两个独立基准的数字都拿得出手：David AI 的 DAI-ASR-I18N 评测覆盖 21 种语言、14 个系统，Nemotron Transcribe 拿下最低 diarization 错误率 18.26%，略胜 NVIDIA 自家专用模型 Nemotron 3 Diarization 的 18.38%；转写加说话人组合轨道开源第一、总体第二。VoiceArena（英语）上，14 个系统 cpWER 最低 32.4%，对比 Multitalker Parakeet 加 Nemotron 3 Diarization 的 34.2%；更亮眼的是删除率，仅 8.32%，基准中位数约 31%——别人整句整句地漏，它漏得少得多。
六、吞吐与部署：官方数字很猛，自建要认清口径
先报官方吞吐，再说必要的限定。NVIDIA 给的数字是：在 Nemotron Transcribe NIM 的优化版 vLLM 上，单张 RTX PRO 6000 Blackwell Server Edition，NVFP4 量化加 DFlash2 投机解码，转写吞吐高达 2,238 音频秒/秒，30 秒录音 0.13 秒返回；另一口径是 100 小时音频 3 分钟内处理完（30 秒片段高并发）。限定也要带上：这些服务优化尚未进入开源版——自己用 vLLM 搭服务达不到 NIM 的数字，引述时别张冠李戴。
部署锚点官方给的是单张 H100 80GB；单卡范围从 Jetson AGX Thor、DGX Spark、RTX Spark 一路到 Blackwell 数据中心卡。服务端两个选择：vLLM（NeMo Speech 插件）或 SGLang-Omni，都暴露 OpenAI 兼容 chat 端点。推理优化是原生 Multi-Token Prediction 投机解码——自家 MTP 层就是草稿模型——另可选单独训练的 DFlash2。
权重格式分四档：BF16（全精度参考）、FP8、NVFP4（Blackwell 用），外加 GGUF。GGUF 这条线要单独说：NVIDIA 研究页已列出 GGUF 伴生仓库，面向 NeMo-Speech.cpp 本地推理——注意不是 llama.cpp，与 Lightning 系社区 GGUF 不是一回事；而 HF 官方博客发布时写的还是「量化版本即将推出」。GGUF 权重挂出来，不等于本地工具链已经现成，NeMo-Speech.cpp 的支持状态以官方仓库为准，别写成「现已一键本地跑」。
不想自建也有托管可买：Baseten、DeepInfra、Simplismart 提供托管端点，demo 在 HF Spaces（nvidia/nemotron-transcribe）与 ModelScope Studios。Artificial Analysis 实测 DeepInfra 端点约 75 倍实时，1 分钟音频 1 秒内出稿，定价 2.00 美元/千分钟。
最后防一个混淆：NVIDIA 同期还有一个姊妹小模型 nemotron-3.5-asr-streaming-0.6b——600M 参数原生流式 ASR，延迟五档可配（80/160/320/560/1120 毫秒），40 个 locale（32 个开箱即用），同样 OpenMDW-1.1，纯 CPU 可实时，Apple Silicon 上表现良好。那是流式产品线，与本篇的 34B 离线转写是两条线：要实时字幕看它，要离线精转写看本篇主角。
七、数据与微调：Granary v2 的两个小时数，和一个医疗案例
训练数据挂的是 Granary v2，这里有两个小时数，必须分开说。公开 manifest 口径：463,062 小时、48 种语言、16 个来源集合（Granary v1 仅 25 种语言）；全处理集口径：约 843,600 独特音频小时。翻译数据约 142,800 小时译入英语、约 55,000 小时英语译入 31 个目标语言。官方明示：这些数字描述数据集发布，不是 Transcribe 的完整训练配比，引用时别把后者安到模型头上。
数据集提供三种转写目标，与模型的可提示风格一一对应：tn_raw（文本归一逐字稿）、itn_raw（逆归一化并保留语气词）、itn_clean（无语气词干净版）。四阶段管线 Metadata、ASR、Text、HiFi 由 NeMo Curator 构建，支持 Ray 与 NVIDIA Dynamo 后端。管线的价值有数字背书：HiFi 阶段把 VoxPopuli 的 354,000 小时筛到 111,000 小时；标签质量过滤使 9 基准平均 WER 从 4.91% 降到 4.67%。
模型本体官方口径的训练规模：约 172 万独特索引音频小时、约 3.72 亿样本、56 亿独特文本 token，混合 Granary v2、多说话人会议语料、音频理解数据与合成 PII 感知语音；训练方法是监督均衡混合，按答案 token 质量采样，单段 SFT 加短 RL 阶段。另一处细节值得肯定：部分数据向 David AI 授权，且 David AI 的 DAI-ASR-I18N 评测集明确不在训练集内——榜一成绩的独立性有交代。
微调门槛官方口径友好：单 GPU 即可适配新语言、领域或任务，17 个任务典型只需每任务 0.5 到 2.3 GPU 小时；NeMo Speech 配方训练语音编码器与投影层，语言模型走 LoRA。工具就在 GitHub：NVIDIA-NeMo/Speech，仓库地址：github.com/NVIDIA-NeMo/Speech——SALM 微调工具包含 LoRA 合并、vLLM 评估器与 16 个教程 notebook；配方中枢在 NVIDIA-NeMo/Nemotron 仓库（Apache-2.0），内含 Transcribe recipe map。
效果实例看医疗：Eka Care 的印度医疗语音开放基准（3,619 条音频），仅优化提示词——指明英语输出加拉丁字母——就把全基准 WER 从 30.8% 降到 23.8%；微调后在保留说话人的 2,764 条音频上，从 22.44% 降到 12.17%，相对降幅 45.8%，全流程约 14 GPU 小时（官方案例在单张 GB300 上跑完）；适配数据约 153 小时合成语音、29 小时 Common Voice 重口音英语、63 小时 MultiMed 医疗录音。两个数字对应两种投入档位：调提示词是零训练成本，微调也远够不着「大工程」三个字。
常见问题
Q1： 可以商用吗？
A1：可以。模型卡与研究页均标注 OpenMDW-1.1，官方明示可用于商业或非商业用途；按许可原文，可再分发、可微调、对模型输出无附加限制。唯一要注意的是清权责任在使用者：转写他人录音前，先确认录音取得授权。
Q2： 一张消费级显卡能跑吗？
A2：官方参考部署是单张 H100 80GB，同时官方列出的单卡范围覆盖 Jetson AGX Thor、DGX Spark、RTX Spark 到 Blackwell 数据中心卡，DGX Spark 与 RTX Spark 属于桌面可及档位。GGUF 权重已列出、面向 NeMo-Speech.cpp，但本地工具链成熟度以官方仓库现状为准。另外 NIM 的吞吐数字（如 2,238 音频秒/秒）来自官方优化服务栈，自建 vLLM 达不到。
Q3： 它能做实时字幕吗？
A3：不能。官方明示这是批处理离线模型，不支持流式，内部音频分块不等于流式服务。要实时字幕，NVIDIA 同期开源了姊妹模型 nemotron-3.5-asr-streaming-0.6b：600M 原生流式，延迟五档最低 80 毫秒起，同样 OpenMDW-1.1。
Q4： WER 到底是 4.71% 还是 5.33%？
A4：两个数字都对，口径不同。4.71% 是模型卡 9 个公开测试集（2026-10-12 采集）的英文 mean WER；5.33% 是 Open ASR Leaderboard 站点口径——榜单自 10 月 9 日起把私有保留集与 URGENT24 计入平均。引用时任选其一并注明口径，不要混着比。
Q5： 说话人归属到底有多准？
A5：独立基准数字：David AI 的 DAI-ASR-I18N 在 21 种语言、14 个系统中错误率最低，为 18.26%；VoiceArena 英语榜删除率仅 8.32%，基准中位数约 31%——漏词显著更少。但官方同时提醒用户抽查姓名、说话人切换与音频问答结果，生产环境请保留人工抽检。
延伸阅读
- 同声传译开源了：混元 3 秒开口还学你说话：边听边译的同传赛道，与本篇转写是两条路
- 全双工语音六款横评：权重跑不起，能跑的太老：实时对话场景的语音模型比选
- 开源语音模型五连发：蚂蚁 MIT 协议四卡起步：蚂蚁五款语音模型的全栈接入实操