Block 发布 Dessa:完全基于人声训练的全双工端到端语音对话模型

10月26日消息,Twiiter创始人杰克·多尔西(Jack Dorsey)‌旗下 Block 公司内部 AI 研究实验室推出全新语音对话模型Dessa,号称全球首款完全依靠人类口语对话音频从零训练、不使用任何文本数据、不依赖预训练模型的实时对话 AI,实现音频输入直接输出音频,跳过传统语音识别‑文本大模型‑语音合成的链路,可本地运行,带来高度拟人化的全双工语音交互体验。

当前主流语音 AI 普遍采用 “语音转文字→大模型处理→文字转语音” 流水线。这一过程会丢失语气、停顿、笑声、叹息、情绪重音等大量语音原生信息,交互生硬,AI 也无法感知说话人声音里的情绪变化,甚至存在安全隐患。Dessa 的设计目标就是还原人类真实对话的交流质感。

核心技术特性

1. 纯音频从零训练,无文本参与

Dessa 完全基于人类对话录音训练,不输入任何书面文本,模仿婴儿听人说话习得语言的模式。它不仅学习语言内容,同时掌握口音、呼吸、停顿、反讽、幽默感、语调情绪、对话插话时机。团队表示,它学习语言所需的信息量远小于传统文本大模型;整套训练仅使用单台英伟达 GB200 NVL72 硬件完成训练。

2. 原生全双工语音‑to‑语音架构

音频进、音频出,支持一边收听一边说话,和真人聊天一样:可以中途插话、发出附和语气词(“嗯”“明白”)、句中发笑;接到指令能够主动提高音量;推理速度快于实时,消除对话尴尬等待。可本地部署运行,最低硬件要求为 MacBook Pro M4 Max 及以上设备。

3. 原生感知表达丰富情绪细节

原生识别并输出笑声、倒吸气、沮丧叹息、悲伤的声线变化、讽刺语气。官方放出多段无人工干预的真人实时对话录音 Demo:包括聊趣事时中途发笑、听到惊喜消息小声惊呼、提供人生建议时流露共情、与人对话 GPT‑Live‑1 进行跨 AI 对话等场景,字幕为事后额外添加,模型输出本身只有音频。

研发初衷

团队提出三大研发动机:复刻人类不靠文字习得语言的路径;打造更自然的人机语音交互;提升 AI 安全能力。

现有语音 AI 对人声情绪近乎 “失聪”,如果人类处于痛苦状态,AI 无法感知情绪信号,依旧机械应答。Dessa 希望解决这一安全短板。

目前该项目尚未公开发布权重、API 接口,没有公开标准评测指标,也未发布正式技术论文。仅放出对话录音样例,面向一小部分 AI 安全研究人员开放早期访问,邀请外部研究者挖掘潜在风险,普通用户仅可登记等待名单,所有效果均来自 Block 官方演示素材,暂无第三方独立验证结果。

项目背景

Dessa 项目团队隶属于 Block 内部小型 AI 实验室,团队成员来自多伦多深度学习初创公司 Dessa,拥有十余年深度学习、八年生成语音模型研发经验,直接向 Block 联合创始人杰克·多尔西汇报。

Copyright © DoNews 2000-2026 All Rights Reserved
京ICP备2025120072号