只需要5秒就能克隆出你的声音_声音克隆-程序员宅基地

技术标签： python  人工智能杂谈  深度学习  pytorch  

导读

只需要一段5秒钟的录音，就能将其他的文字转换成你的声音。Real-Time-Voice-Cloning该项目目前在git上以及接近30k的星，作者将克隆后的效果已经上传到youtube演示视频。遗憾的是这个项目只支持英文。

最近从这个项目中发展了一个中文的分支Realtime-Voice-Clone-Chinese，作者已经在效果上传到了bilibili演示视频

下面我就教大家如何在你的电脑上使用这个项目
在这里插入图片描述

运行环境

  • 系统：Windows、Linux
  • Python版本：3.7+
  • pytorch版本：1.9.0
  • GPU：可无

环境搭建

  • 创建虚拟环境
conda create -n py3.9 python==3.9
  • clone项目到本地
git clone https://github.com/babysor/Realtime-Voice-Clone-Chinese.git
  • 安装项目所需要的库
pip install -r requirements.txt
  • 安装pytorch
    根据pytorch官方的文档，选择适合你系统适应的安装方式，安装1.9.0版本
https://pytorch.org/get-started/locally/
  • 安装webrtcvad
pip install webrtcvad-wheels
  • 安装ffmpeg

下载地址：https://ffmpeg.org/download.html#get-packages

根据你的系统选择ffmpeg进行安装

测试声音克隆的效果

  • 下载预训练模型

百度网盘：https://pan.baidu.com/s/1PI-hM3sn5wbeChRryX-RCQ 提取码:2021

这里大家只需要下载synthesizer文件夹就行了，节省时间。其它的两个模型已经在项目里面了，下载好后将saved_models目录放到synthesizer目录下

  • 启动工具箱
#激活你的虚拟环境
activate py3.9
#进入到项目目录
cd Realtime-Voice-Clone-Chinese
#启动UI界面
python demo_toolbox.py

在这里插入图片描述

  • 选择合成的模型
    在这里插入图片描述
    合成模型有两个可以选择，ceshi和mandarin。目前ceshi的效果要好些，所以最好选择这个模型。这两个模型都是基于adatatang_200zh数据集训练出来的

  • 克隆声音

提供了两种克隆声音的方式，第一种是通过录音，第二种是通过上传一段音频。通过从说话人的声音中提取声音特征信息，然后再利用这些特征信息来合成新的声音
在这里插入图片描述
在录完音和上传一段音频之后，在文字框内输入你想要的合成声音的文字，再点击Synthesize and vocode就能开始合成声音，合成完成之后会自动播放合成的声音。

合成后的声音中可能会包含一些杂音，点击export导出音频文件会自动过滤掉杂音。

  • 异常情况

在点击Synthesize and vocode之后，在输出信息报错
在这里插入图片描述
我这里是没有问题的，错误信息如下所示

RuntimeError: Error(s) in loading state_dict for Tacotron: size mismatch for encoder.embedding.weight: copying a param with shape torch.Size([70, 512]) from checkpoint, the shape in current model is torch.Size([75, 512]).

或者没有报错，但是合成的声音中全是杂音没有人声，需要做下面的修改，打开Realtime-Voice-Clone-Chinese\synthesizer\utils目录下的symbols.py文件
在这里插入图片描述
将11行的代码注释掉，改成下面的代码

_characters = 'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz12340!\'(),-.:;? '

训练自己的模型

  • 下载或者准备你想使用的数据集
  • 数据集的预处理

需要使用梅尔频谱图对音频进行预处理

python synthesizer_preprocess_audio.py <datasets_root>

可以传入参数 --dataset {dataset} 支持adatatang_200zh,magicdata,aishell3如果是其他格式的数据集，可以将格式转换为上面这几种。

如果你的aidatatang_200zh文件放在D盘，train文件路径为 D:\data\aidatatang_200zh\corpus\train , 你的datasets_root就是 D:\data\

  • 预处理嵌入
python synthesizer_preprocess_embeds.py <datasets_root>/SV2TTS/synthesizer
  • 训练合成模型
python synthesizer_train.py mandarin <datasets_root>/SV2TTS/synthesizer

总结

从我目前的使用效果来看，合成声音的效果音色更像是数据集中的，和自己的还是有一定差距的。而且，对于一些数字和英文的效果不太理想。初步猜测应该是因为数据集的问题，毕竟训练模型的数据只有200h，而且数据中可能对于数字和英文覆盖的还不够。

建议：如果想要获得更好效果的模型，需要使用更大的数据集同时也要保证数据集的质量要高才行。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_29957455/article/details/119963719

智能推荐

c# 调用c++ lib静态库_c#调用lib-程序员宅基地

文章浏览阅读2w次，点赞7次，收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案，在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建：添加Visual C++ , Win32 项目这......_c#调用lib

deepin/ubuntu安装苹方字体-程序员宅基地

文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体，挺好看的。注重颜值的网站都会使用，例如知乎：font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang

html表单常见操作汇总_html表单的处理程序有那些-程序员宅基地

文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时，向何处发送表单中的数据，地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理，get方式直接显示在url地址中，数据可以被缓存，且长度有限制；而post方式数据隐藏传输，_html表单的处理程序有那些

PHP设置谷歌验证器（Google Authenticator）实现操作二步验证_php otp 验证器-程序员宅基地

文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证（即Google Authenticator服务）后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器

【Python】matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距-程序员宅基地

文章浏览阅读4.3k次，点赞5次，收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距

docker — 容器存储_docker 保存容器-程序员宅基地

文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节，实现了多层数据的堆叠，为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制（CoW）策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的，不建议用于生成环境。_docker 保存容器

随便推点

网络拓扑结构_网络拓扑csdn-程序员宅基地

文章浏览阅读834次，点赞27次，收藏13次。网络拓扑结构是指计算机网络中各组件（如计算机、服务器、打印机、路由器、交换机等设备）及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式，也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn

JS重写Date函数，兼容IOS系统_date.prototype 将所有 ios-程序员宅基地

文章浏览阅读1.8k次，点赞5次，收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时，通常的做法是：new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的，而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠，也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑，需要做一些额外的特殊处理，笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数，一劳永逸，避免每次ne_date.prototype 将所有 ios

如何将EXCEL表导入plsql数据库中-程序员宅基地

文章浏览阅读5.3k次。方法一：用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头，使全列成选中状态，然后粘贴，最后commit提交即可。（前提..._excel导入pl/sql

Git常用命令速查手册-程序员宅基地

文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区，不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区，包括untracked的文件...

分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120-程序员宅基地

文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120

【C++缺省函数】 空类默认产生的6个类成员函数_空类默认产生哪些类成员函数-程序员宅基地

文章浏览阅读1.8k次。版权声明：转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数

推荐文章

热门文章

相关标签