标签相关文章

这个标签暂时没有关联文章。

2026 年声音克隆方案整理:5 个值得关注的开源项目与 GitHub 地址

整理 2026 年值得关注的开源声音克隆与零样本 TTS 项目,包括 CosyVoice、IndexTTS、Fish Speech、Chatterbox 和 F5-TTS,重点对比中文与多语言能力、情绪与韵律控制、实时部署方向、许可证注意事项及官方 GitHub 地址。

声音克隆正在从“为某个说话人单独训练模型”转向 zero-shot / few-shot 语音生成:只需要一段参考音频,模型就可以在不为该说话人重新训练的情况下复现音色,并进一步控制语言、情绪、语速、韵律甚至跨语言发音。

截至 2026 年 9 月 28 日,如果目标是寻找可以本地部署、可研究、可二次开发的先进方案,可以重点关注 CosyVoice、IndexTTS、Fish Speech、Chatterbox 和 F5-TTS。它们的侧重点并不完全相同:有的更偏中文和方言,有的强调情绪控制,有的适合实时 Voice Agent,也有的更适合作为生成式 TTS 的研究基线。

声音授权

声音克隆涉及人格权、隐私、著作权以及不同地区的 AI 合规要求。用于真人声音时,应确保已经获得声音本人明确授权,并避免用于冒充、欺诈或其他误导性场景。开源代码可用不等于模型权重、训练数据或生成内容可以无限制商用,部署前还需要单独检查各项目许可证。

一、项目总览

项目当前值得关注的方向语言与声音能力更适合的场景GitHub
CosyVoiceZero-shot、多语言、跨语言克隆、流式生成9 种常见语言,18+ 中文方言/口音,支持情绪、语速、音量等指令中文应用、实时 Agent、数字人、本地部署QwenAudio/CosyVoice
IndexTTS单参考音频克隆、情绪与音色解耦、可控发音中文、英文、日文、西班牙文、阿拉伯文;支持情绪、语速、拼音/音素控制中文配音、角色语音、需要精细控制的生成index-tts/index-tts
Fish Speech大模型 TTS、多语言、自然语言韵律控制S2 Pro 覆盖 80+ 语言,支持多说话人、多轮对话和细粒度情绪标签多语言内容、播客、对话生成、高表现力语音fishaudio/fish-speech
Chatterbox多语言克隆、低延迟 Agent、Voice ConversionMultilingual V3 支持 23+ 语言;另有 Turbo 与 NanoVoice Agent、跨语言克隆、资源受限部署resemble-ai/chatterbox
F5-TTSFlow Matching、生成式 TTS、训练与微调支持参考音频克隆、多风格与多说话人生成研究、二次开发、训练实验、生成式 TTS 基线SWivid/F5-TTS

这些项目都可以用参考音频作为声音条件,但它们的优势并不只在“像不像原声”。目前更重要的能力是:跨语言保持音色、情绪和韵律控制、发音可控、推理延迟、资源占用,以及许可证是否适合目标业务。

二、CosyVoice:中文、多方言与实时生成

CosyVoice 当前 GitHub 仓库位于:

QwenAudio/CosyVoice

此前常见的地址 FunAudioLLM/CosyVoice 目前会跳转到新的仓库地址。官方仓库中的安装命令仍保留旧地址,因此已有脚本一般仍可以继续通过 GitHub 重定向访问。

当前重点版本是 Fun-CosyVoice 3.0。官方仓库将它定位为基于大语言模型的多语言 TTS 系统,并明确支持 zero-shot 和 cross-lingual voice cloning。

比较突出的能力包括:

  • 支持中文、英文、日文、韩文、德文、西班牙文、法文、意大利文、俄文等 9 种常见语言。
  • 支持 18+ 中文方言或口音。
  • 支持跨语言 zero-shot 声音克隆。
  • 支持语言、方言、情绪、速度和音量等指令控制。
  • 支持文本流式输入和音频流式输出。
  • 官方仓库给出的最低流式延迟数据为约 150 ms。
  • 支持中文拼音和英文 CMU phoneme 的发音修正。
  • 提供训练、推理、FastAPI、gRPC、Docker,以及 vLLM / TensorRT-LLM 相关部署能力。

如果项目以中文为核心,同时又希望后续扩展到实时语音 Agent、数字人或多方言场景,CosyVoice 是很值得优先测试的一条路线。

三、IndexTTS:强调情绪、语速和发音控制

IndexTTS 官方仓库:

index-tts/index-tts

官方仓库当前将 IndexTTS-2.5 作为最新版本。它属于 zero-shot TTS:只需要一段参考音频,就可以从该参考声音生成新的语音。

IndexTTS-2.5 当前支持:

  • 中文。
  • 英文。
  • 日文。
  • 西班牙文。
  • 阿拉伯文。
  • 细粒度情绪控制。
  • 语速控制。
  • 中文拼音控制。
  • 英文 CMU phoneme 控制。
  • 日文假名控制。
  • 跨语言声音生成。
  • 音色与情绪解耦。

“音色与情绪解耦”对角色配音尤其有用。例如,目标声音可以来自一个人的参考音频,而情绪表现则可以独立控制,不需要把“某个声音”和“某种情绪”永久绑定在一起。

许可证需要单独检查

IndexTTS 使用自己的模型使用许可协议,并不是简单的 MIT 或 Apache-2.0。当前许可对大型商业主体、衍生模型、高风险用途等存在额外条款。计划商业部署时,应直接阅读仓库中的 LICENSE,而不是仅根据“开源”二字判断是否可以直接商用。

四、Fish Speech:多语言与高表现力语音

Fish Speech 官方仓库:

fishaudio/fish-speech

当前官方文档重点介绍 Fish Audio S2 Pro。仓库资料显示,S2 Pro 是一个 4B 参数级多语言 TTS 模型,覆盖 80 多种语言,并强调自然语言形式的细粒度韵律和情绪控制。

它比较有辨识度的一点,是可以直接在文本中加入类似以下语义标签:

TEXT7 行
[whisper]
[excited]
[angry]
[laughing]
[sigh]
[volume up]
[professional broadcast tone]

这意味着模型不只是把文本“念出来”,还可以在同一句文本的不同位置改变表现方式。

S2 Pro 还支持:

  • 多说话人生成。
  • 多轮对话生成。
  • 细粒度情绪和韵律控制。
  • 80+ 语言。
  • 命令行推理。
  • WebUI。
  • 服务端推理。
  • Docker 部署。

需要注意的是,官方推理文档建议 至少 24 GB 显存用于 S2 模型推理,因此它并不是这一组方案里最轻量的选择。

Fish Speech 的代码与相关模型权重采用 FISH AUDIO RESEARCH LICENSE。商业使用、再分发和产品集成前,应直接检查:

Fish Speech LICENSE

五、Chatterbox:多语言、Voice Agent 与 Voice Conversion

Chatterbox 官方仓库:

resemble-ai/chatterbox

Chatterbox 目前不是单一模型,而是一个面向不同部署条件的模型系列。

其中 Chatterbox Multilingual V3 是通用多语言版本,模型规模为 500M,官方仓库列出的语言覆盖为 23+。V3 的重点包括:

  • 改进说话人相似度。
  • 改进跨语言的口音保持。
  • 降低无关续写、重复等 hallucination。
  • 面向跨语言声音克隆与全球化应用。

如果目标是实时英文 Voice Agent,还可以关注 Chatterbox-Turbo。它采用 350M 参数架构,并针对较低计算量和显存占用进行优化,同时支持 [laugh]、[cough]、[chuckle] 等副语言标签。

资源更加有限时,则可以关注 Chatterbox-Nano。官方将其定位为 110M 参数、面向 CPU 或端侧推理的版本。

Chatterbox 仓库还提供了独立的 Voice Conversion 示例,因此除了“文字 → 克隆声音”,也适合研究:

输入语音 → 保留说话方式 → 转换为目标音色

这类 Speech-to-Speech / Voice Conversion 路线对于实时 Agent、直播变声和需要保留原始语气的场景尤其重要。

Chatterbox 仓库当前采用 MIT License。

六、F5-TTS:Flow Matching 路线的研究与开发基线

F5-TTS 官方仓库:

SWivid/F5-TTS

F5-TTS 的核心特点是采用 Flow Matching 路线进行生成式语音合成。它不是只面向一个固定声音,而是可以通过参考音频进行声音条件控制。

当前仓库提供:

  • 参考音频 TTS。
  • 多风格生成。
  • 多说话人生成。
  • Gradio 界面。
  • CLI 推理。
  • 训练与微调工具。
  • Docker。
  • Triton 与 TensorRT-LLM 相关部署方案。

F5-TTS 很适合希望研究生成式 TTS、训练自己的模型、修改推理流程或探索 Flow Matching 架构的人。

不过它的许可证需要区分 代码和预训练模型:

内容许可证
F5-TTS 代码MIT License
官方预训练模型CC-BY-NC

其中 NC 表示 NonCommercial。也就是说,即使代码本身采用 MIT,官方预训练权重并不能直接等同于允许商业使用。商业项目需要进一步确认模型、数据和权重许可。

七、按使用场景怎么选

如果重点是 中文声音克隆和中文自然度,可以先测试:

  • CosyVoice。
  • IndexTTS。

如果还需要中文方言、多语言和实时流式能力,CosyVoice 的功能覆盖更完整。

如果重点是 情绪表现、角色语音和发音控制,可以重点测试:

  • IndexTTS。
  • Fish Speech。

IndexTTS 更强调音色、情绪、语速与发音层面的可控性;Fish Speech 则更强调自然语言标签驱动的细粒度表现方式。

如果重点是 多语言 Voice Agent 或实时应用,可以测试:

  • CosyVoice。
  • Chatterbox-Turbo。
  • Chatterbox Multilingual V3。

如果重点是 研究模型结构、自己训练或微调 TTS,F5-TTS 是一个值得研究的 Flow Matching 基线。

如果设备显存有限,需要优先评估较小模型,则可以关注 Chatterbox-Turbo 和 Chatterbox-Nano;Fish Audio S2 Pro 的硬件需求明显更高。

八、声音克隆正在发生什么变化

当前先进声音克隆系统与早期“speaker embedding + TTS”方案相比,已经出现几个明显变化。

1. 从专门训练转向 zero-shot

以前通常需要为一个新说话人准备数据并训练或微调模型。现在很多系统只需要参考音频,在推理阶段就可以提取说话人的声音特征。

流程可以简化为:

TEXT11 行
参考音频
   ↓
声音 / 说话人条件
   ↓
文本语义建模
   ↓
声学 Token 或连续声学表示生成
   ↓
声码器 / Codec
   ↓
目标语音

2. 音色与表达方式逐渐解耦

先进模型不再只追求“声音像谁”,还会分别处理:

  • 音色。
  • 情绪。
  • 韵律。
  • 语速。
  • 音量。
  • 停顿。
  • 发音。
  • 口音。
  • 副语言声音。

这使同一个克隆声音可以拥有不同的说话状态,而不是机械复制参考音频里的固定语气。

3. 从 TTS 扩展到 Speech-to-Speech

传统声音克隆主要是:

TEXT1 行
文字 → 目标声音

Voice Conversion 则是:

TEXT1 行
输入语音 → 目标声音

后一种方式有机会保留输入语音中的停顿、重音、情绪和节奏,因此在实时对话、游戏角色、数字人和直播场景中很有价值。

4. 实时性成为独立竞争维度

高质量离线生成和实时语音 Agent 的技术要求并不完全相同。

实时系统除了声音质量,还需要关注:

  • 首包音频延迟。
  • 流式文本输入。
  • 流式音频输出。
  • GPU 占用。
  • 并发能力。
  • 长对话稳定性。
  • 中断与续说。
  • Voice Activity Detection。
  • 与 ASR、LLM 的整体链路延迟。

因此,选择“最好的声音克隆模型”之前,应该先确认目标究竟是离线配音,还是实时 Agent。

九、GitHub 地址汇总

下面是本文涉及的官方仓库:

  1. CosyVoice — QwenAudio/CosyVoice
  2. IndexTTS — index-tts/index-tts
  3. Fish Speech — fishaudio/fish-speech
  4. Chatterbox — resemble-ai/chatterbox
  5. F5-TTS — SWivid/F5-TTS

选择模型前建议先验证三件事

第一,使用自己的真实参考音频测试音色相似度,而不是只听官方 Demo。第二,使用目标业务中的真实文本测试长文本、数字、英文缩写、停顿和情绪。第三,部署前检查代码、模型权重和训练数据对应的许可证,不要把“GitHub 开源”直接理解成“可以无限制商用”。