开源项目
开源项目

开源TTS第一,权重却禁止商用:Breeze TTS 2拆解

上海微风蓝(BreezeBlue,2025 年 6 月成立、15 人团队,创始人杨斌为前 MiniMax 技术合伙人,8 月 25 日官宣 600 万美元种子轮)开源 Breeze TTS 2:仓库 breezeblue-ai/breeze-tts(1,230 星,代码 Apache-2.0),权重约 3.48B,中英双语,Hugging Face 与魔搭同步上架。Artificial Analysis Provider Voice 表现力榜(8 月 26 日前后快照)Elo 1215、开放权重第一,领先同榜 Fish Audio S2 Pro(1125)90 分;但受控音色克隆榜(8 固定音色)开放权重仅第三(1002,与 Fish S2 Pro 并列、落后 Mistral Voxtral TTS 1010),全站第六——「第一」必须挂榜名。README 口径:H100 预热 fast path 首包低于 40ms、RTF 0.32,eager 约 7.7GiB 显存(建议 12GB 卡)、--fast-all 约 14.4GiB(建议 24GB,fast 更耗显存);架构四段 T5Gemma2 文本编码器/Qwen3 结构主干 28 层/深度解码器 12 层/Mimi 系 VQ(16 路、12.5Hz)。核心钩子是许可双轨:代码 Apache-2.0 随便改,权重、衍生模型与自托管输出限研究/非商用,商用需 RESONIA 书面授权或走托管(34 美元/百万字符);社区 int8 量化后 8GB 卡可跑(有开发者实测峰值 7.4GB),另有 ComfyUI 节点包与 MLX 4bit 社区移植。

发布于 2026年10月31日9 分钟阅读
<!-- breeze-tts-2-opensource-resource | open-source | 开源TTS第一,权重却禁止商用:Breeze TTS 2拆解 -->

Breeze TTS 2 是上海团队 BreezeBlue(主体为上海微风蓝科技有限公司)在 2026 年 8 月 25 日开放权重的文本转语音模型,官方 PyTorch 推理代码与权重仓库发布在 breezeblue-ai/breeze-tts,权重同步放在 HuggingFace 的 BreezeBlue/breeze-tts-2 页面。它是一个总参数约 34.7 亿(checkpoint 元数据 3,466,363,713,HuggingFace 页面按惯例标 3B)的单一模型,中英双语自然生成,在 Artificial Analysis 的 Provider Voice 表现力盲听榜上拿到 1215 Elo、位列开放权重第一;但权重许可证同时白纸黑字写着:仅供研究与非商用。代码随便改,权重不让卖,这个反差就是本篇要拆透的核心。

先划边界:本篇只做 Breeze TTS 2 的单体拆解——怎么拿(仓库明文地址 https://github.com/breezeblue-ai/breeze-tts )、怎么跑、许可怎么避坑;F5-TTS、CosyVoice、Fish Audio 这些同场对手怎么选,见同批的开源 TTS 模型横评,两篇唯一重叠的是背景数字,角度互不覆盖。

一、榜单要读两份:别只记一个“第一”

Artificial Analysis 的 Provider Voice 榜是个盲听竞技场:听众不知道音频出自哪个模型,凭表现力投票换算成 Elo 分。2026 年 8 月底的快照里,Breeze TTS 2 拿到 1215 分,是开放权重模型的第一名,领先此前霸榜的 Fish Audio S2 Pro(1125)整整 90 分;放进包含闭源模型的全站参照,它排总榜第六(Elo 1215,快照 2026-08 底),前后紧挨着 ElevenLabs v3 对话版(1219)和 Gemini 3.1 Flash TTS(1210)。官方博客宣传的“开放权重第一”,出处就是这份表现力榜。

但同一时间还有另一份成绩单。受控音色克隆榜(Controlled Voices)把所有模型放进统一条件:8 个固定克隆音色(4 个美音、4 个英音)念同样的稿子。这个榜上 Breeze TTS 2 的开放权重名次只有第三:1002 Elo,与 Fish Audio S2 Pro 并列,落后 Mistral Voxtral TTS(1010)8 分。两份成绩单合起来看才完整:自由发挥的表现力它确实强,指定音色的克隆稳定性另算一笔。如果你的场景是“固定音色长期配稿”,别被头条数字带走。

还要加一句限定:这些分数与下文的延迟数字,全部出自 BreezeBlue 自报口径或榜单快照,暂无独立第三方复现,榜单本身也每天在动,引用时认快照日期。

顺带交代背景。BreezeBlue 团队 15 人,2025 年 6 月成立,成员来自谷歌、字节、阿里、阶跃、华为;创始人杨斌是多伦多大学博士,博士期间参与创立 Uber ATG Research,后联合创立 Waabi,再到 MiniMax 任技术合伙人。2026 年 8 月 25 日,团队官宣 600 万美元种子轮(元璟资本与红点中国联合领投),同一天开放了模型权重——模型与融资同日官宣,是典型的研究信用与商业叙事一起打的打法。

二、许可证双轨:本篇最重要的一节

Breeze TTS 2 的许可是两套规则管两样东西,混着看必然踩坑。

第一轨:代码。GitHub 仓库的 license 字段核实为 Apache-2.0,推理代码、评测脚本都可以自由使用、修改、再分发。你想读它的实现、改它的采样逻辑、把它接进自己的 pipeline,代码层面没有任何障碍。

第二轨:权重。模型权重、衍生模型以及自托管产生的输出,受 BreezeBlue Research and Non-Commercial License 约束,仅限研究与非商用场景。想商用只有两条路:找 RESONIA, INC.(BreezeBlue 的公司主体)拿书面授权,或者走官方托管平台按量付费——托管 API 定价 34 美元每百万字符,对照同榜 ElevenLabs Eleven v3 的 100 美元每百万字符,价格牌打得相当直接。

坑都埋在边界情况里,这里把最容易误判的三类挑明:第一,广告变现的免费应用也算商用——你的应用不向用户收钱,但只要挂了广告,权重许可就不允许自托管跑;第二,支撑营收业务的内部工具同样处于商用语境,公司内部给客户交付的生产环节别拿非商用权重顶;第三,大学做评测复现、写论文跑实验,属于研究场景,没有问题。另外注意,这份许可没有小企业豁免、没有收入门槛例外,不因你规模小而网开一面。

一句话总结这一节:Apache-2.0 的代码给了你“看得懂、改得动”的自由,非商用的权重决定了“能不能拿它赚钱”要另签一张纸。评测、研究、原型验证,放心拿去用;商业变现,先想清楚走授权还是走托管。

三、架构四段:34.7 亿参数怎么排

公开渠道还没有它的 arXiv 论文,技术细节主要来自仓库与开发者对 checkpoint 的实测拆解。整条生成链路分四段:

第一段,文本编码器:T5Gemma2 结构,26 层,负责把目标文本和 instruction 等条件编码成向量表示。

第二段,主干:Qwen3 结构,28 层,hidden size 2048,注意力用 GQA 设计(16 个注意力头对 8 个 KV 头)。它是帧级自回归的主引擎,每一帧预测第 0 路码本。

第三段,深度解码器:12 层,hidden size 1024,在主干隐状态与首路码本的条件下,自回归展开其余 15 路码本,凑齐 16 路残差向量量化(RVQ)。

第四段,音频 tokenizer:Mimi 结构,24 kHz 输出,帧率约 12.5 Hz——1 秒音频约等于 12.5 个 token,每 token 16 路码本。推理侧通过 qwen_tts.Qwen3TTSTokenizer 加载,官方说明该 tokenizer 基于 Qwen3-TTS(同样是 Apache-2.0)。

四段加起来,总参数约 3.48B,checkpoint 目录约 7.2 GB(含 audio_tokenizer),权重张量约 6.5 GiB。这个结构的思路不难读:主干只管粗骨架(第一路码本),细颗粒交给小得多的深度解码器逐路补齐,用两段式自回归换推理效率。

四、能力四路由:克隆、造声、指挥、副语言

模型按输入模板分四条路由,对应四类用法。

Plain TTS 是最基础的文本转语音,给文本出音频。Voice Design 是无参考造声:不给参考音频,纯自然语言描述你要的声音(年龄、口音、语速、气质),官方建议 instruction 与目标文本用同一语言,CFG 系数用 4。Voice Clone 是音色克隆:参考音频加逐字稿,最短 3 秒就能起步,社区通行建议是 3 到 10 秒干净语音;官方分析逻辑是取前 60 秒、自动保留最合适的 30 秒,而超过 30 秒的参考反而会让音色偏离原声。注意一个硬要求:ref-text 逐字稿必须与参考音频内容完全一致,连音频里的重复、口误都要原样对齐,同时参考音频要干净、不循环、低背景噪声。Voice Direction 是给克隆音“下导演指令”:在克隆音基础上追加情感、语气的自然语言指令,官方 2026 年 8 月的基准里拿到 VDS 4.25、说话人相似度 0.67,是参评模型里的最好成绩——这是厂商自建基准的口径,听听就好,别当第三方结论。顺带一提,Voice Design 的官方自建基准 Role Fit 78.02 排第一,领先第二名 5.24 分,同样属于自报口径。

副语言能力藏在标签里。英文用圆括号内联标记,比如 (laugh)、(cough)、(clears throat)、(sigh);中文用方括号,比如 [笑]、[咳嗽]、[清嗓子]、[叹气],模型会在对应位置生成笑声、咳嗽声。默认采样参数是 temperature 0.9、top_p 1.0、top_k 50、repetition_penalty 1.1,一般不用动。

语言支持这里必须说精确:开放权重只覆盖英文和中文,一个模型双语自然生成;“支持 50 多种语言”说的是官方托管平台的能力,自托管权重没有这个覆盖面,两件事不能混着写。

五、上手:环境、显存与真实开销

环境门槛不低。官方要求 Python 3.10 以上、Linux、CUDA,依赖锁定 torch 2.9.1、transformers 4.57.3、qwen-tts 0.1.1:

text
pip install torch==2.9.1 transformers==4.57.3 qwen-tts==0.1.1

Docker 镜像默认按 H100(Hopper 架构,sm90)编译,A100 用户需要设置 FLASH_ATTN_CUDA_ARCHS=80 重新构建。想在 ComfyUI 里用的话,社区节点包 Saganaki22/ComfyUI-Breeze-TTS-2(Apache-2.0,截至发稿 123 星)支持 INT8 量化(5 到 7.5 GiB 显存)、最多 8 说话人对话编排,还带 Whisper 自动转写节点——省掉自己写逐字稿的步骤。

显存两档,方向别记反:eager 模式约 7.7 GiB,官方建议至少 12 GB 的卡;--fast-all 快速路径约 14.4 GiB,建议 24 GB 级别。也就是说,想要低延迟就要多喂显存,fast 档更吃资源,不是更省。国产卡和 Mac 用户可以看社区方案:有开发者实测 RTX 4060 8GB 跑 INT8,占用 4.98 GiB、峰值 7.4 GB、首块音频 0.39 秒、2 到 3 倍实时速度;Mac 阵营有社区移植的 MLX 4bit 版本,体积约 2.3 GB,16 GB 内存的 MacBook 能跑——注意这是社区非官方移植,效果没有官方背书。

延迟数字同样要认口径。开源权重的 TTFA(首包音频延迟)小于 40 毫秒,前提是 H100 上跑预热后的 fast path;RTF 0.32,约 3.1 倍实时。而官方托管平台首页宣称“25 毫秒内输出首个音频字节”——那是托管侧的成绩,跟自托管权重不是一个口径,别互相佐证。生成速度方面,Artificial Analysis 测到约 45 字符每秒,比若干竞品慢,长文本任务要有心理预期。输出是流式 24 kHz 单声道 16-bit PCM,接下游 pipeline 很直接。

六、三条路怎么选

研究者和评测者:直接拿权重。代码 Apache-2.0,评测套件(voice design、voice direction、latency 三个仓库)也全部开源,复现门槛被官方压到了最低。

要做商业产品的:自托管这条路被权重许可堵死,没有灰色地带。要么找 RESONIA, INC. 谈书面授权,要么走托管 API,34 美元每百万字符的价格对多数中等规模应用是可控成本;官方音色库加 Voice Galaxy(15,000 多个社区与工作室音色)可以省掉自建音色的功夫。

只想快速出活的:托管平台直接用,不用碰环境、显卡和许可证问题。

放在开源 TTS 阵营里定位一句话:它跟 F5-TTS 同属免对齐克隆路线,强项是表现力与副语言控制,弱项是 45 字符每秒的生成速度和 商用须授权的权重许可。值不值得上,取决于你要的是“最像人”还是“最快最便宜”——多款横着比的那篇会给你完整答案。

常见问题

Q1:Breeze TTS 2 能商用吗? A1:分两半。代码是 Apache-2.0,随便改随便用;权重、衍生模型和自托管输出仅限研究与非商用。商用两条路:找 RESONIA, INC. 拿书面授权,或走官方托管(34 美元每百万字符)。注意广告变现的免费应用也算商用,许可无小企业豁免。

Q2:需要什么显卡? A2:eager 模式约 7.7 GiB 显存,建议 12 GB 以上的卡;--fast-all 快速档约 14.4 GiB,建议 24 GB——快速档更费显存。社区 ComfyUI 节点包支持 INT8(5 到 7.5 GiB),有开发者实测 RTX 4060 8GB 可跑;Mac 可试社区 MLX 4bit 版(约 2.3 GB,非官方)。

Q3:怎么克隆一个声音? A3:准备参考音频加逐字稿,逐字稿必须与音频内容完全一致(含重复与口误)。最短 3 秒起步,社区建议 3 到 10 秒干净、低噪声、不循环的语音;超过 30 秒反而偏离原声,官方会分析前 60 秒并自动保留最合适的 30 秒。

Q4:中文效果怎么样? A4:开放权重是中英双语单一模型,中文是一等公民,副语言标签也齐——[笑]、[咳嗽]、[清嗓子]、[叹气]。榜单上 1215 Elo 是英文为主的盲听口径且为厂商自报,中文建议拿自己的文案实测,注意“50 多种语言”是托管平台能力,自托管没有。

Q5:和 ElevenLabs 差距多大? A5:同一份快照(2026 年 8 月底)的 Provider Voice 表现力榜上,Breeze TTS 2 是 1215,ElevenLabs v3 对话版 1219,几乎同档。实际差异在形态:ElevenLabs 是闭源托管服务,Breeze 给了开放权重加托管双选项,托管价 34 美元每百万字符,约为 Eleven v3(100 美元每百万字符)的三分之一。榜单每天浮动,认快照日期。

延伸阅读

本文由 AI 辅助生成,经人工审核编辑。最后更新:2026-10-31

常见问题

Breeze TTS 2 能商用吗?
A1:分两半。代码是 Apache-2.0,随便改随便用;权重、衍生模型和自托管输出仅限研究与非商用。商用两条路:找 RESONIA, INC. 拿书面授权,或走官方托管(34 美元每百万字符)。注意广告变现的免费应用也算商用,许可无小企业豁免。
需要什么显卡?
A2:eager 模式约 7.7 GiB 显存,建议 12 GB 以上的卡;`--fast-all` 快速档约 14.4 GiB,建议 24 GB——快速档更费显存。社区 ComfyUI 节点包支持 INT8(5 到 7.5 GiB),有开发者实测 RTX 4060 8GB 可跑;Mac 可试社区 MLX 4bit 版(约 2.3 GB,非官方)。
怎么克隆一个声音?
A3:准备参考音频加逐字稿,逐字稿必须与音频内容完全一致(含重复与口误)。最短 3 秒起步,社区建议 3 到 10 秒干净、低噪声、不循环的语音;超过 30 秒反而偏离原声,官方会分析前 60 秒并自动保留最合适的 30 秒。
中文效果怎么样?
A4:开放权重是中英双语单一模型,中文是一等公民,副语言标签也齐——[笑]、[咳嗽]、[清嗓子]、[叹气]。榜单上 1215 Elo 是英文为主的盲听口径且为厂商自报,中文建议拿自己的文案实测,注意“50 多种语言”是托管平台能力,自托管没有。
和 ElevenLabs 差距多大?
A5:同一份快照(2026 年 8 月底)的 Provider Voice 表现力榜上,Breeze TTS 2 是 1215,ElevenLabs v3 对话版 1219,几乎同档。实际差异在形态:ElevenLabs 是闭源托管服务,Breeze 给了开放权重加托管双选项,托管价 34 美元每百万字符,约为 Eleven v3(100 美元每百万字符)的三分之一。榜单每天浮动,认快照日期。

相关文章

开源项目

LTX-2开源:22B权重66GB,画面声音一个模型全包

LTX-2 开源深拆(2026-10-02 GitHub 实核):Lightricks/LTX-2 9,569 星、Python、推送停在 10 月 2 日;官方定位首个 DiT 架构的音视频一体基础模型,画面与同步音频一次生成。LTX-2.5 组成:22B 蒸馏 transformer(bf16)+ Gemma 4 12B 定制文本编码器(与 Google 原版不通用)+ 视频/音频双 VAE + 空间与时间上采样器,全套约 66GiB;DistilledPipeline 仅 8 个预设 sigma(阶段 1 八步 + 阶段 2 四步)最快出片,FP8 量化与 CPU/磁盘 offload 降显存,4K 为 3840x2176(README 特别注明非 2160);12 条管线含 DFR 生产级、DubIt 保口型换词配音、Retake 局部重生成、SDR 转 HDR(BT.2020/HLG + ACEScct EXR);ltx-trainer 支持 LoRA/全量微调/IC-LoRA,ComfyUI 有官方插件。许可证核真:GitHub License 栏 NOASSERTION,实为自定义 LTX Community License(2026-08-11 起 LTX-2.5 适用),非 OSI 开源——个人非商业免费,年收入 1000 万美元及以上实体任何商用须购买 Commercial Use Agreement,衍生品定义含蒸馏,分发须随附完整协议。自部署唯一解的价值:数据不出内网、批量边际成本趋近电费、LoRA 风格资产独占。

2026年10月3日10 分钟阅读
开源项目

本地优先的开源语音工作站 VoiceStudio 深度解析

GitHub 仓库 debpalash/VoiceStudio 在 2026-09-07 那一周的周榜中单周 +5104 星、总计约 24.6k 星,是当周热度第一梯队的本地语音项目(AGPL-3.0,Python,9-11 当日活跃)。它的定位是一句话:开源、完全本地的 ElevenLabs 替代品——语音克隆、声音设计、视频配音、听写、转录、有声书创作,覆盖约 646 种语言,本地工作流无需账号、API key、订阅或用量计费。核心设计不是单一语音模型而是**引擎编排层**:整合 16 个 TTS 与 11 个 ASR 引擎,可热切换;跨 macOS/Windows/Linux/Docker,自带 OpenAI 兼容的本地语音 API 与 MCP server。本文拆能力图谱、本地优先的隐私/成本分野、与同日 GPT-Live-1 云端实时语音的分工(它偏批处理配音/转录,非实时对话),并点明五个真约束:AGPL-3.0 商用注意、beta 稳定性、Electron 重写风险、引擎质量参差、并非所有引擎都本地/免费。

2026年9月13日10 分钟阅读
硬核横评

开源TTS模型对比:八强里第一名的权重不能商用

八款开源 TTS 合成模型横评(星数为 2026-10-31 GitHub API 实测):GPT-SoVITS 64,311(MIT)、VoxCPM 40,862(Apache-2.0)、fish-speech 33,502、index-tts 24,829、CosyVoice 24,196(仓库已迁 QwenAudio org)、KittenTTS 16,717、F5-TTS 15,490(代码 MIT)、breeze-tts 1,230。许可三档是主线:放心商用(VoxCPM2/CosyVoice/GPT-SoVITS/KittenTTS 2);权重非商用(Breeze TTS 2 自托管输出也禁、F5-TTS 权重 CC-BY-NC、Fish S2 Pro 研究限定);条件商用最易误判——IndexTTS-2.5 仅 MAU 超 1 亿或年营收超 10 亿元人民币才需另行授权(LICENSE 原文核实),中小团队实际可用,Fish Drama 3 年营收低于 50 万美元可商用但禁托管、须署名。AA 榜只同快照内比:8 月 26 日快照 Breeze 1215 领先 Fish S2 Pro(1125)90 分;9 月 25 日快照 Breeze 1205 全榜第九、与榜首 Sonic 3.6(1279)差 74 分,跨快照严禁混排。硬件口径取 README 原文:Breeze 7.7/14.4GiB、VoxCPM2 约 8GB(Nano-vLLM RTF 0.13)、IndexTTS-2.5 RTF 0.2065(4090)、GPT-SoVITS RTF 0.028(4060Ti)、KittenTTS 2 nano int8 25MB CPU 可跑。六场景选型各给 1-2 款;落选四款(ChatTTS/MaskGCT/Maya 2/Audio8)带理由一段带过。

2026年10月31日10 分钟阅读