声音克隆正在从“为某个说话人单独训练模型”转向 zero-shot / few-shot 语音生成:只需要一段参考音频,模型就可以在不为该说话人重新训练的情况下复现音色,并进一步控制语言、情绪、语速、韵律甚至跨语言发音。
截至 2026 年 9 月 28 日,如果目标是寻找可以本地部署、可研究、可二次开发的先进方案,可以重点关注 CosyVoice、IndexTTS、Fish Speech、Chatterbox 和 F5-TTS。它们的侧重点并不完全相同:有的更偏中文和方言,有的强调情绪控制,有的适合实时 Voice Agent,也有的更适合作为生成式 TTS 的研究基线。
声音授权
声音克隆涉及人格权、隐私、著作权以及不同地区的 AI 合规要求。用于真人声音时,应确保已经获得声音本人明确授权,并避免用于冒充、欺诈或其他误导性场景。开源代码可用不等于模型权重、训练数据或生成内容可以无限制商用,部署前还需要单独检查各项目许可证。
一、项目总览
| 项目 | 当前值得关注的方向 | 语言与声音能力 | 更适合的场景 | GitHub |
|---|---|---|---|---|
| CosyVoice | Zero-shot、多语言、跨语言克隆、流式生成 | 9 种常见语言,18+ 中文方言/口音,支持情绪、语速、音量等指令 | 中文应用、实时 Agent、数字人、本地部署 | QwenAudio/CosyVoice |
| IndexTTS | 单参考音频克隆、情绪与音色解耦、可控发音 | 中文、英文、日文、西班牙文、阿拉伯文;支持情绪、语速、拼音/音素控制 | 中文配音、角色语音、需要精细控制的生成 | index-tts/index-tts |
| Fish Speech | 大模型 TTS、多语言、自然语言韵律控制 | S2 Pro 覆盖 80+ 语言,支持多说话人、多轮对话和细粒度情绪标签 | 多语言内容、播客、对话生成、高表现力语音 | fishaudio/fish-speech |
| Chatterbox | 多语言克隆、低延迟 Agent、Voice Conversion | Multilingual V3 支持 23+ 语言;另有 Turbo 与 Nano | Voice Agent、跨语言克隆、资源受限部署 | resemble-ai/chatterbox |
| F5-TTS | Flow Matching、生成式 TTS、训练与微调 | 支持参考音频克隆、多风格与多说话人生成 | 研究、二次开发、训练实验、生成式 TTS 基线 | SWivid/F5-TTS |
这些项目都可以用参考音频作为声音条件,但它们的优势并不只在“像不像原声”。目前更重要的能力是:跨语言保持音色、情绪和韵律控制、发音可控、推理延迟、资源占用,以及许可证是否适合目标业务。
二、CosyVoice:中文、多方言与实时生成
CosyVoice 当前 GitHub 仓库位于:
此前常见的地址 FunAudioLLM/CosyVoice 目前会跳转到新的仓库地址。官方仓库中的安装命令仍保留旧地址,因此已有脚本一般仍可以继续通过 GitHub 重定向访问。
当前重点版本是 Fun-CosyVoice 3.0。官方仓库将它定位为基于大语言模型的多语言 TTS 系统,并明确支持 zero-shot 和 cross-lingual voice cloning。
比较突出的能力包括:
- 支持中文、英文、日文、韩文、德文、西班牙文、法文、意大利文、俄文等 9 种常见语言。
- 支持 18+ 中文方言或口音。
- 支持跨语言 zero-shot 声音克隆。
- 支持语言、方言、情绪、速度和音量等指令控制。
- 支持文本流式输入和音频流式输出。
- 官方仓库给出的最低流式延迟数据为约 150 ms。
- 支持中文拼音和英文 CMU phoneme 的发音修正。
- 提供训练、推理、FastAPI、gRPC、Docker,以及 vLLM / TensorRT-LLM 相关部署能力。
如果项目以中文为核心,同时又希望后续扩展到实时语音 Agent、数字人或多方言场景,CosyVoice 是很值得优先测试的一条路线。
三、IndexTTS:强调情绪、语速和发音控制
IndexTTS 官方仓库:
官方仓库当前将 IndexTTS-2.5 作为最新版本。它属于 zero-shot TTS:只需要一段参考音频,就可以从该参考声音生成新的语音。
IndexTTS-2.5 当前支持:
- 中文。
- 英文。
- 日文。
- 西班牙文。
- 阿拉伯文。
- 细粒度情绪控制。
- 语速控制。
- 中文拼音控制。
- 英文 CMU phoneme 控制。
- 日文假名控制。
- 跨语言声音生成。
- 音色与情绪解耦。
“音色与情绪解耦”对角色配音尤其有用。例如,目标声音可以来自一个人的参考音频,而情绪表现则可以独立控制,不需要把“某个声音”和“某种情绪”永久绑定在一起。
许可证需要单独检查
IndexTTS 使用自己的模型使用许可协议,并不是简单的 MIT 或 Apache-2.0。当前许可对大型商业主体、衍生模型、高风险用途等存在额外条款。计划商业部署时,应直接阅读仓库中的 LICENSE,而不是仅根据“开源”二字判断是否可以直接商用。
四、Fish Speech:多语言与高表现力语音
Fish Speech 官方仓库:
当前官方文档重点介绍 Fish Audio S2 Pro。仓库资料显示,S2 Pro 是一个 4B 参数级多语言 TTS 模型,覆盖 80 多种语言,并强调自然语言形式的细粒度韵律和情绪控制。
它比较有辨识度的一点,是可以直接在文本中加入类似以下语义标签:
[whisper]
[excited]
[angry]
[laughing]
[sigh]
[volume up]
[professional broadcast tone]这意味着模型不只是把文本“念出来”,还可以在同一句文本的不同位置改变表现方式。
S2 Pro 还支持:
- 多说话人生成。
- 多轮对话生成。
- 细粒度情绪和韵律控制。
- 80+ 语言。
- 命令行推理。
- WebUI。
- 服务端推理。
- Docker 部署。
需要注意的是,官方推理文档建议 至少 24 GB 显存用于 S2 模型推理,因此它并不是这一组方案里最轻量的选择。
Fish Speech 的代码与相关模型权重采用 FISH AUDIO RESEARCH LICENSE。商业使用、再分发和产品集成前,应直接检查:
五、Chatterbox:多语言、Voice Agent 与 Voice Conversion
Chatterbox 官方仓库:
Chatterbox 目前不是单一模型,而是一个面向不同部署条件的模型系列。
其中 Chatterbox Multilingual V3 是通用多语言版本,模型规模为 500M,官方仓库列出的语言覆盖为 23+。V3 的重点包括:
- 改进说话人相似度。
- 改进跨语言的口音保持。
- 降低无关续写、重复等 hallucination。
- 面向跨语言声音克隆与全球化应用。
如果目标是实时英文 Voice Agent,还可以关注 Chatterbox-Turbo。它采用 350M 参数架构,并针对较低计算量和显存占用进行优化,同时支持 [laugh]、[cough]、[chuckle] 等副语言标签。
资源更加有限时,则可以关注 Chatterbox-Nano。官方将其定位为 110M 参数、面向 CPU 或端侧推理的版本。
Chatterbox 仓库还提供了独立的 Voice Conversion 示例,因此除了“文字 → 克隆声音”,也适合研究:
输入语音 → 保留说话方式 → 转换为目标音色
这类 Speech-to-Speech / Voice Conversion 路线对于实时 Agent、直播变声和需要保留原始语气的场景尤其重要。
Chatterbox 仓库当前采用 MIT License。
六、F5-TTS:Flow Matching 路线的研究与开发基线
F5-TTS 官方仓库:
F5-TTS 的核心特点是采用 Flow Matching 路线进行生成式语音合成。它不是只面向一个固定声音,而是可以通过参考音频进行声音条件控制。
当前仓库提供:
- 参考音频 TTS。
- 多风格生成。
- 多说话人生成。
- Gradio 界面。
- CLI 推理。
- 训练与微调工具。
- Docker。
- Triton 与 TensorRT-LLM 相关部署方案。
F5-TTS 很适合希望研究生成式 TTS、训练自己的模型、修改推理流程或探索 Flow Matching 架构的人。
不过它的许可证需要区分 代码和预训练模型:
| 内容 | 许可证 |
|---|---|
| F5-TTS 代码 | MIT License |
| 官方预训练模型 | CC-BY-NC |
其中 NC 表示 NonCommercial。也就是说,即使代码本身采用 MIT,官方预训练权重并不能直接等同于允许商业使用。商业项目需要进一步确认模型、数据和权重许可。
七、按使用场景怎么选
如果重点是 中文声音克隆和中文自然度,可以先测试:
- CosyVoice。
- IndexTTS。
如果还需要中文方言、多语言和实时流式能力,CosyVoice 的功能覆盖更完整。
如果重点是 情绪表现、角色语音和发音控制,可以重点测试:
- IndexTTS。
- Fish Speech。
IndexTTS 更强调音色、情绪、语速与发音层面的可控性;Fish Speech 则更强调自然语言标签驱动的细粒度表现方式。
如果重点是 多语言 Voice Agent 或实时应用,可以测试:
- CosyVoice。
- Chatterbox-Turbo。
- Chatterbox Multilingual V3。
如果重点是 研究模型结构、自己训练或微调 TTS,F5-TTS 是一个值得研究的 Flow Matching 基线。
如果设备显存有限,需要优先评估较小模型,则可以关注 Chatterbox-Turbo 和 Chatterbox-Nano;Fish Audio S2 Pro 的硬件需求明显更高。
八、声音克隆正在发生什么变化
当前先进声音克隆系统与早期“speaker embedding + TTS”方案相比,已经出现几个明显变化。
1. 从专门训练转向 zero-shot
以前通常需要为一个新说话人准备数据并训练或微调模型。现在很多系统只需要参考音频,在推理阶段就可以提取说话人的声音特征。
流程可以简化为:
参考音频
↓
声音 / 说话人条件
↓
文本语义建模
↓
声学 Token 或连续声学表示生成
↓
声码器 / Codec
↓
目标语音2. 音色与表达方式逐渐解耦
先进模型不再只追求“声音像谁”,还会分别处理:
- 音色。
- 情绪。
- 韵律。
- 语速。
- 音量。
- 停顿。
- 发音。
- 口音。
- 副语言声音。
这使同一个克隆声音可以拥有不同的说话状态,而不是机械复制参考音频里的固定语气。
3. 从 TTS 扩展到 Speech-to-Speech
传统声音克隆主要是:
文字 → 目标声音Voice Conversion 则是:
输入语音 → 目标声音后一种方式有机会保留输入语音中的停顿、重音、情绪和节奏,因此在实时对话、游戏角色、数字人和直播场景中很有价值。
4. 实时性成为独立竞争维度
高质量离线生成和实时语音 Agent 的技术要求并不完全相同。
实时系统除了声音质量,还需要关注:
- 首包音频延迟。
- 流式文本输入。
- 流式音频输出。
- GPU 占用。
- 并发能力。
- 长对话稳定性。
- 中断与续说。
- Voice Activity Detection。
- 与 ASR、LLM 的整体链路延迟。
因此,选择“最好的声音克隆模型”之前,应该先确认目标究竟是离线配音,还是实时 Agent。
九、GitHub 地址汇总
下面是本文涉及的官方仓库:
- CosyVoice — QwenAudio/CosyVoice
- IndexTTS — index-tts/index-tts
- Fish Speech — fishaudio/fish-speech
- Chatterbox — resemble-ai/chatterbox
- F5-TTS — SWivid/F5-TTS
选择模型前建议先验证三件事
第一,使用自己的真实参考音频测试音色相似度,而不是只听官方 Demo。第二,使用目标业务中的真实文本测试长文本、数字、英文缩写、停顿和情绪。第三,部署前检查代码、模型权重和训练数据对应的许可证,不要把“GitHub 开源”直接理解成“可以无限制商用”。
