Block 10 月 23 日上线的 Dessa 演示里有一幕:对话进行到一半,模型在正确的时机附和一声 "yeah",会插话,让它「说大声点」也照办;你打断它,它不装没听见。Block 给它的定语是「audio in, audio out」——只用人类对话录音从零训练,无文本、无预训练模型【官方】。一天后 TechCrunch 的报道标题用了 eerily human 一词【二手】。
听起来像语音赛道的 iPhone 时刻。但把近三个月被归入「全双工语音」讨论的产品拉到同一张桌上会发现,卖场里混着两种东西:端到端语音到语音(S2S)的真全双工,和文本中介的实时 TTS——后者接得住指令,接不住你半路插进来的那句话。「全双工」大概是营销口径与架构事实差距最大的赛道之一,本文把六款放进同一张表,逐格给出处。
先划边界:站内 10 月 15 日的克隆横评管「把声音变成你的」,10 月 21 日的 Ming-3.0 部署 SOP 管「把字合成声」,Grok Voice 3.0 热点篇管单品动态。本文只管「让声音接得住你」的全双工实时对话:六款横评,一个数字一个出处。
先分路线:实时 TTS 不等于全双工对话
全双工的严格定义是双向同时工作:模型边听边生成,可随时被打断、会附和让步抢话,这要求直接在语音流上做理解与生成,即端到端 S2S。文本中介管道则是「识别成文本、生成回复、合成语音」三段串行,任何时刻只有单向在动。
混淆点在于:文本中介路线也能「响应快、可打断」,延迟数字甚至更好看。Block 官方点名批评的正是这种做法——「把你的声音变成文本,丢掉了文本承载不了的信息」【官方】,停顿、笑声、半截话在转写那一刻就丢了。六款里 Drama 3 与 v4 Turbo 严格说属文本中介路线,保留它们正是呈现路线之争:强项真实,但叫「全双工」是归组错误。
六款同台:一张表看路线
| 维度 | Block Dessa | Fish Audio Drama 3 | Eleven v4 Turbo | Qwen-Audio-3.0-Realtime | NVIDIA VoiceChat 11B | 豆包实时语音 3.0 |
|---|---|---|---|---|---|---|
| 全双工方式 | 原生 S2S,边说边听【官方声明】 | 非全双工,文本中介 TTS【官方】 | 非全双工,双向流式 TTS,打断在产品层【官方】 | 端到端 S2S 加双工控制子模型【官方】 | 单一流式网络,双流同时开【官方】 | 原生全双工端到端【官方一句话,细节二手】 |
| 是否文本中介 | 否,官方主打无文本【官方声明】 | 是【官方】 | 是【官方】 | 未明确披露,「听思同步」并行【官方·模糊】 | 语音 token 直通【官方】 | 无公开口径 |
| 延迟口径 | 快于实时,无数值【官方】 | 首音频中位 88.9ms,H200 单流【官方】 | 推理中位约 100ms、首声约 150ms,不含网络【官方】 | 毫秒级,无数值【官方】 | 轮替 448ms、打断让出 480ms【官方】 | 210ms【传闻·二手】 |
| 可控性 | 情绪宣称原生内建,无标签【官方声明】 | 行内导演标签、改单词语气、16 说话人【官方】 | 行内标签加音效,官方自承标签不完全可靠【官方】 | 语气节奏情感动态调整、音色复刻【官方】 | 无公开口径 | 无公开口径 |
| 开源与许可 | 无权重无 API【官方】 | 开源权重,Community License v1.0,年营收 50 万美元以下免费商用【官方】 | 闭源,仅 API | 闭源,百炼 API | 开源权重,研究专用许可【二手标许可名】 | 「开源」说法未核到原文【传闻·二手】 |
| 部署门槛 | MacBook M4 Max 及以上可本地【官方声明】 | 官方基准 48GB 显存级起步【二手推断】 | 无,云端 API | 无,云端 API | 至少 80GB 显存【官方】 | 无公开口径 |
| 价格 | 未公开 | 50 美元/百万字符,首发 2 折至 11-12【官方】 | 0.04 美元/千字符【官方】 | Flash 版音频输入 6 元/百万 tokens【官方】 | 无(研究用) | 未公开 |
| 语言 | 无公开口径 | 83 语言【官方 tags】 | 91 语言【官方页】 | 无公开语言数口径 | 无公开口径 | 无公开口径 |
| 第三方背书 | 不在任何榜单【二手证实】 | AA 发音榜 93.2% 第一、偏好榜第十【第三方】 | AA 偏好榜综合最高【第三方】 | 官方援引 AA S2S 综合第一【官方转引】 | AA 开源全双工双榜前三【第三方】 | 无独立评测【二手证实】 |
找不到出处的格子写「无公开口径」。
Block Dessa:最会聊天,也最买不到
Dessa 出自 Block 内部小型研究实验室,团队前身为多伦多创业公司 Dessa,直接向 Jack Dorsey 汇报【官方】。官方口径:单台 GB200 NVL72 完成训练,推理快于实时,MacBook Pro M4 Max 及以上可本地运行,原生听见并表达情绪、讽刺、笑声、叹息;「从比 LLM 少数百倍的词量学会语言」无数值支撑,属公司声明【官方】。
冷水先泼:Dessa 无公开权重、无 API、无许可证,早期访问仅限少量 AI 安全研究员【官方】;无官方基准,第三方证实它不在任何榜单上【二手】。TechCrunch 已点出存疑之处:它的情绪是原生还是仍由标签机制驱动【二手】;「按要求提高音量」细节仅出自媒体报道【二手】。引用它的一切能力,前面都应加上「Block 称」。
Fish Audio Drama 3:开源的是权重,不是全双工
Drama 3 于 10 月 13 日发布,官方博客加 arXiv 技术报告【官方】。规格不小:35B MoE,8 路路由专家加 1 共享专家,每 token 约激活 3B,骨干自 Qwen3.5-35B-A3B 初始化【官方】。真实身份是「可导戏的 TTS」——官方口径原话——行内方括号导演指令、改单词语气、[sighs] 等非语言标签、单次最多 16 说话人、多轮改稿,「句中换声」「改单词语气」均为官方实锤【官方】。但这些能力都发生在你给文本、它出音频的语境里,与全双工对话是两回事。
开源侧实情是「开源权重而非完全开源」,许可为 Fish Audio Community License v1.0:科研与非商业免费,年营收低于 50 万美元可免费商用,超过限额或对外提供推理服务需商业许可,禁止未经同意克隆真人声音【官方】。延迟 H200 单流首音频中位 88.9ms,64 并发 450.9ms【官方】;价格 50 美元/百万字符,首发 2 折 10 美元至 11 月 12 日【官方】;7 月完成 5200 万美元种子轮【官方,多家一致】。用户规模信源矛盾:第三方称 800 万,公司自报超 1500 万——并列,不裁决。评测也分裂:AA 发音鲁棒性 93.2% 第一,超过 v4 的 91.7%;AA 偏好榜却只排第十【第三方】。
仓库地址:fishaudio/fish-speech,也可直接访问 github.com/fishaudio/fish-speech(GitHub API 2026-10-27 实测 200)。
Eleven v4 Turbo:官方 100ms 很快,但它是一根管道
v4 Turbo 与 v4 同日发布于 9 月 28 日【官方】。官方基准:中位推理延迟约 100ms、首声约 150ms,标注不含应用与网络延迟;对比对象 Sonic 3.6 为 262ms、GPT-4o mini TTS 为 814ms【官方】。官方 models 页列 91 种语言,通话中可随对方切换并保持同一音色【官方】。但记住那句括号:去掉的是最不可控的两段开销。第三方实测推理约 118ms、首声约 165ms【二手】。
定性与 Drama 3 相同:文本中介 TTS 加双向流式 WebSocket,面向 agent 循环,打断在 ElevenAgents 产品层处理,不是全双工 S2S【官方】。闭源,API 定价 0.04 美元/千字符,订阅 6 美元/月起【官方】。冷水点来自官方文档:标签遵循尚不完美、Style 与 Speed 滑杆及 SSML 不支持、模型行为可能随训练漂移【官方】。Block 对其「voice tags 驱动情绪」的批评,官方未回应。
Qwen-Audio-3.0-Realtime:中文用户最实际的一条路
阿里这款 7 月发布【二手,百科口径】,百炼文档 9 月 28 日更新【官方】。它是端到端实时语音交互大模型,主打「听思同步」——语音输入与语义推理并行;内置「多模态感知双工控制」子模型,用音频信号、语义、声纹判断何时接话,嘈杂环境防误打断、锁定主对话对象;轮次模式有 server_vad、smart_turn、push-to-talk 三种【官方文档】。能力含 Function Calling、联网搜索、情感调整与声音复刻【官方】。
对中文读者它最实际:闭源 API 交付,却有官方人民币计价——Flash 版中国区音频输入 6 元/百万 tokens、文本输入 1.5 元、文本输出 4.5 元、文本加音频输出 12 元【官方文档】——加中文文档与国内直连。短板:端到端延迟只有「毫秒级」定性,无具体数字【官方】;语言数无公开口径;AA S2S 综合第一系官方转引【官方转引】,非第三方直接评测。
NVIDIA VoiceChat 11B:唯一能下到的真全双工,代价是 80GB
开源阵营里规格最硬的一款:11B 端到端 S2S,用单一流式网络替代「识别、大模型、合成」三段级联——Fast Conformer 流式编码器加 Nemotron Nano v2 9B 混合 Mamba 与 Transformer 主干,解码器输出 22.05kHz;旁挂 RNN-T 通道实时转录用户,另有独立工具调用输出通道,脚本不污染语音流【官方 model card 经转述,两独立来源一致】。训练数据约 55 万小时。
全双工关键指标来自 Full-Duplex-Bench 1.0:流畅轮替 448ms,被打断后约 480ms 让出,接管率 1.00,打断质量 GPT-4o 评 4.33/5【官方口径】。Big Bench Audio 38.8% 为开源全双工最高,但闭源第一梯队 GPT-Realtime 在 80 以上【第三方】;对话动态 77.8% 开源第二,第一是 PersonaPlex 的 91.0%【第三方】。它是首个支持实时工具调用的开源全双工,但官方自曝边界很长:音频上下文上限 2 分钟、多轮退化、轮末失控自言、丢词;BFCL-v3 得分 56.1%,工具选择 82.5% 而参数正确率仅 44.2%,建议每会话不超过 5 个工具【官方】。
发布日期多口径并存:HuggingFace 权重 8 月 3 日上线,NGC 容器页标 7 月 21 日,另有 8 月 9 日说法——并列,不裁决【二手加官方容器页】。许可为研究专用(钛媒体标注 OpenMDW v1.1)【二手标许可名】,部署至少一块 80GB 显存 GPU:A100、H100、RTX 6000 Pro 或 B200【官方】。开源了,但「开源不等于可商用」,也不等于你的机器跑得动。
豆包实时语音 3.0:官方一句话,其余全靠转述
六款里信息最不透明的一款。可靠的官方一手只有火山引擎 10 月 20 日发版说明一句:「新增支持豆包实时语音模型 3.0(Seeduplex),提供全双工端到端实时语音对话,并支持视觉理解能力」【官方】。这句实锤了全双工端到端定性,但仅此而已。
其余流传数字全要打传闻标签:打断准确率 97.3%、响应延迟 210ms、对话完成率 94%,出自微信公众号研究报告【传闻·二手】;「Seeduplex 2026 年 4 月开源」同样【传闻·二手】,未核到官方仓库与许可证原文;700 万量产车、50 多个汽车品牌【二手】;价格未公开;App 视频通话可随时插话属自媒体实测【二手】。官方给出规格文档之前,本文不替它背书任何数字。
开源阵营的尴尬:有权重的跑不起,跑得起的太老
开源选项单独拎出来,2026 年的真实格局是三句话。话题度最高的 Dessa 完全闭源;VoiceChat 11B 开了权重,但研究专用许可加至少 80GB 显存,送进了数据中心级;唯一能在 24GB 及以下显存本地跑的开源全双工,仍是 2024 年的 Moshi——Kyutai 的 7B 模型,权重 CC-BY 4.0,4090 实测口径约 200ms,但只有英文和法语,上下文约 5 分钟滑窗,无工具调用【第三方 wiki 口径】。有权重的跑不起,跑得起的太老,中间是空的。
仓库地址:kyutai-labs/moshi,也可直接访问 github.com/kyutai-labs/moshi(GitHub API 2026-10-27 实测 200)。
榜单再补一刀:对话动态维度上,PersonaPlex 91.0%、VoiceChat 77.8%、Moshi 只有 4.3%【第三方】。榜单上的 Freeze-Omni、FLM-Audio,硬件门槛本次未能核实,引用前需单独核查【二手】。「开源语音的安卓时刻」在全双工赛道还谈不上成立。
别拿 88.9ms 去比 448ms
表里最容易误读的是延迟行。Drama 3 首音频 88.9ms 与 VoiceChat 轮替 448ms 不是一场比赛:前者是拿到文本合成音频的 TTS 任务,后者是双向语音流里判断话轮与让步的全双工任务,数字不可直接比。v4 Turbo 的 100ms 与 150ms 均不含网络与应用层开销,真实体感还要加上大模型与链路延迟,第三方实测首声约 165ms 可作参照【二手】。厂商延迟数字共享同一条逻辑:vendor 口径看相对,不看绝对。
结语:GPT-3 时刻还是营销时刻
六款看完,结论并不戏剧化。真全双工与文本中介的路线之争刚摆上台面,开源侧真正的消费级选项至今空缺,官方延迟数字集体不含网络开销,最像下一代产品的 Dessa 连一个公开基准都没有。Dessa 研究员把它称作「语音的 GPT-3 时刻」,这句自报能否兑现,取决于权重、API 与第三方评测何时至少到位一个。在那之前,按路线归组、按出处标记数字,是眼下唯一可靠的防身术。
参考来源
- Block 官方 Dessa 页:S2S 架构、训练方式、本地运行口径【官方】
- TechCrunch 2026-10-24 报道:无公开访问、安全研究员早接、eerily human 表述【二手】
- Fish Audio Drama 3 官方博客:架构、许可、延迟与导演能力【官方】
- ElevenLabs v4 官网与 v4 Turbo agents 页:延迟基准、91 语言、定价【官方】
- 阿里云百炼 Qwen-Audio-3.0-Realtime Flash 文档:双工控制子模型、轮次模式与计价【官方文档】
- HuggingFace NVIDIA-NemotronLabs-VoiceChat-11B 模型卡:架构、448ms/480ms、80GB 门槛与自曝边界【官方,经转述】
- 火山引擎发版说明:豆包实时语音 3.0 全双工端到端一句原文【官方】
- Artificial Analysis 各榜单分数(Big Bench Audio、对话动态、发音鲁棒性)经第三方转述【第三方】
延伸阅读
常见问题
**Q1:**全双工语音模型和普通语音助手到底差在哪?
**A1:**普通助手走「识别、生成、合成」串行管道,任何时刻只有单向在动;全双工模型在语音流上同时听与说,可随时被打断、插话,会附和与让步。前者处理文本,后者直接处理语音,停顿、笑声、半截话因此得以保留。
**Q2:**Drama 3 和 Eleven v4 Turbo 算不算全双工?
**A2:**按官方口径都不算。Drama 3 定位是「可导戏的 TTS」,文本中介;v4 Turbo 是文本中介 TTS 加双向流式 WebSocket,打断在 ElevenAgents 产品层处理。它们是优秀的实时语音产品,但归入「全双工」属归组错误。
**Q3:**现在能在消费级显卡上本地跑开源全双工模型吗?
**A3:**能跑的只有 2024 年的 Moshi:7B、CC-BY 4.0,24GB 卡约 200ms,但仅英法双语、无工具调用。VoiceChat 11B 更新更强,却要至少 80GB 显存加研究专用许可。「有权重的跑不起,跑得起的太老」正是当前格局。
**Q4:**官方延迟数字能直接采信吗?
**A4:**看口径再采信。v4 Turbo 的 100ms 与 150ms 标注不含应用与网络延迟;Drama 3 的 88.9ms 是 H200 单流 TTS 口径,与全双工任务的 448ms 不属同一比赛。第三方实测(如 v4 Turbo 首声约 165ms)更接近真实体感,但样本有限【二手】。
**Q5:**想做中文实时语音对话,眼下最现实的选择是哪条?
**A5:**国内直连、人民币计价、文档齐全的闭源 API 是最短路径,六款中 Qwen-Audio-3.0-Realtime 是唯一全满足的;豆包实时语音 3.0 发版说明实锤全双工端到端,但关键数字均为二手转述。想自部署则需接受 Moshi 的语言限制或 VoiceChat 的硬件门槛。