音频克隆：对话文本到口语对话生成MOSS-TTSD

1. <br>之前介绍过几个音频克隆的可以项目：<br>CosyVoice：https://www.cnblogs.com/cj8988/p/18975495<br>IndexTTS：https://www.cnblogs.com/cj8988/p/18973016<br>GPT-SoVITS：https://www.cnblogs.com/cj8988/p/18962212<br><br>IndexTTs-多人：https://www.cnblogs.com/cj8988/p/18973609<br><br><br><strong>本章在介绍一个多人对话的(两人对话)开源项目(8GPU可以跑)：MOSS-TTSD</strong><br><br><strong>亮点：<br></strong><br><strong>高度富有表现力的对话语音</strong>：MOSS-TTSD 基于统一的语义声学神经音频编解码器、预先训练的大型语言模型、数百万小时的 TTS 数据以及 40 万小时的合成和真实对话语音，可生成具有自然对话韵律的高度富有表现力、类似人类的对话语音。<br><strong>双人语音克隆</strong>：MOSS-TTSD 支持零样本双人语音克隆，并可根据对话脚本生成具有准确说话人切换的对话语音。<br><strong>中英双语支持</strong>：MOSS-TTSD 能够以中文和英文生成极具表现力的语音。<br><strong>长篇语音生成</strong>：得益于低比特率编解码器和训练框架的优化，MOSS-TTSD 已经可以进行长篇语音生成的训练。<br><strong>完全开源和商业就绪</strong>：MOSS-TTSD 及其未来更新将完全开源并支持免费商业使用。<br><br><strong>下载安装：<br></strong><br>开源地址：https://github.com/OpenMOSS/MOSS-TTSD<br><br>模型下载：https://huggingface.co/fnlp/XY_Tokenizer_TTSD_V0/tree/main<br>模型存放位置在现在的文件夹下:<strong>MOSS-TTSD\XY_Tokenizer\weights\<br><br></strong>官方文档：https://www.open-moss.com/cn/moss-ttsd/<strong><br><br></strong>

复制代码

 

1. 安装：<br>进入window的虚拟环境conda中：<br><br>

复制代码

1. 创建环境：
2. conda create -n moss_ttsd python=3.10<br><br>激活环境：
3. conda activate moss_ttsd<br><br>安装：
4. pip install -r requirements.txt<br><br>加速：这个先使用下面的命名安装，如果成功那就皆大欢喜
5. #pip install flash-attn

复制代码

1. <br><strong>如果flash-attn安装失败，就不用折腾了，我用了很多方法好像都没有成功，所以修改代码，不使用flash-attn。<br></strong><br><strong>修改generation_utils.py：找到load_model()函数</strong><br><strong>将参数默认值修改一下 attn_implementation="flash_attention_2"</strong><br><strong>修改为attn_implementation="sdpa"</strong><br><br><br>

复制代码

1. 运行：python gradio_demo.py

复制代码

1. <br>第一次运行时会下载模型：fnlp/MOSS-TTSD-v0.5，需要很长的时间。<br>

复制代码

 

1. 下载完成后，浏览器访问：http://127.0.0.1:7860/<br><br>注意，我试过Single单音频支持不太好(我的音频只有一个人说话，估计两个人说话还是可以的)，所以这里直接使用两个音频进行实验。

复制代码

 

1. 结果：

复制代码

音频1	音频2	合成音频
你的浏览器不支持 audio 标签。	你的浏览器不支持 audio 标签。	你的浏览器不支持 audio 标签。

1. <br><br>

复制代码

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

过来提前占个楼

分享、互助 让互联网精神温暖你我

收藏一下   不知道什么时候能用到

谢谢楼主提供！

感谢分享，学习下。