[发明专利]歌声转换方法、装置、设备及存储介质

说明书

本发明涉及人工智能领域，公开了一种歌声转换方法、装置、设备及存储介质，用于提高歌声音频的合成效率。歌声转换方法包括：获取初始录音数据，对初始录音数据进行预处理，得到预处理后的录音数据；对预处理后的录音数据中的每一帧数据分别进行特征提取，得到录音梅尔谱特征；通过预置的基频提取算法，提取预处理后的录音数据中的旋律特征，得到旋律基频特征；获取歌词文本数据，调用预置的边界均衡生成对抗网络模型，对录音梅尔谱特征、旋律基频特征和歌词文本数据进行编码处理和解码处理，得到歌声音频梅尔谱图；调用预置的梅尔生成对抗网络模型确定目标歌声音频。此外，本发明还涉及区块链技术，目标歌声音频可存储于区块链节点中。

技术领域

本发明涉及音频转换领域，尤其涉及一种歌声转换方法、装置、设备及存储介质。

背景技术

歌声转换是将说话人的语音信息进行音色提取，然后根据歌词和旋律信息来合成跟说话人音色相同的歌声音频。

在现有技术中，声音的合成方法是对多种声学参数进行建模，这样合成的音质取决于各个控制环节的效果，如果某一环节效果不好则会对合成的音质产生较大的影响，类似的合成方法还有基于模板的生成方法，这种方法需要一个高音质的音色库来提取各种音乐的参数，且这种方法需要高质量的音乐来作为模板，但高质量的音乐模板建立过程比较困难，导致歌声音频的合成效率低下。

发明内容

本发明提供了一种歌声转换方法、装置、设备及存储介质，用于基于边界均衡生成对抗网络模型对录音梅尔谱特征、旋律基频特征和歌词数据进行编码处理和解码处理，得到歌声音频梅尔谱图，并调用梅尔生成对抗网络模型，对歌声音频梅尔谱图进行转换，得到目标歌声音频，提高了歌声音频的合成效率。

本发明第一方面提供了一种歌声转换方法，包括：获取初始录音数据，对所述初始录音数据进行预处理，得到预处理后的录音数据；对所述预处理后的录音数据中的每一帧数据分别进行特征提取，得到录音梅尔谱特征；通过预置的基频提取算法，提取所述预处理后的录音数据中的旋律特征，得到旋律基频特征；获取歌词文本数据，调用预置的边界均衡生成对抗网络模型，对所述录音梅尔谱特征、所述旋律基频特征和所述歌词文本数据进行编码处理和解码处理，得到歌声音频梅尔谱图；调用预置的梅尔生成对抗网络模型，对所述歌声音频梅尔谱图进行转换，得到初始歌声音频，调用预置的判别器对所述初始歌声音频进行判别，得到判别结果，基于所述判别结果确定目标歌声音频。

可选的，在本发明第一方面的第一种实现方式中，所述获取初始录音数据，对所述初始录音数据进行预处理，得到预处理后的录音数据包括：获取初始录音数据，调用预置的语音端点检测算法，对所述初始录音数据进行切分和检测，得到录音切分片段；删除所述录音切分片段中的无效片段，得到过滤后的录音数据，所述无效片段为包含噪音信号的录音片段和静音片段；对所述过滤后的录音数据依次进行预加重、分帧和加窗处理，得到预处理后的录音数据。

可选的，在本发明第一方面的第二种实现方式中，所述对所述预处理后的录音数据中的每一帧数据分别进行特征提取，得到录音梅尔谱特征包括：对所述预处理后的录音数据中的每一帧数据分别进行傅里叶变换，得到每一帧数据对应的频谱数据；通过预置的梅尔滤波器，对所述每一帧数据对应的频谱数据进行平滑化处理，得到平滑处理后的数据，将平滑处理后的数据确定为录音梅尔谱特征。

可选的，在本发明第一方面的第三种实现方式中，所述通过预置的基频提取算法，提取所述预处理后的录音数据中的旋律特征，得到旋律基频特征包括：调用预置的基频提取算法，对所述预处理后的录音数据进行计算，得到每一帧数据对应的差函数计算结果；在所述每一帧数据对应的差函数计算结果中，分别查询预设数量的谷值，得到每一帧数据对应的多个谷值，基于所述每一帧数据对应的多个谷值，确定旋律波形的最小正周期，得到初始基频特征；基于预设的基频转移规律，对所述初始基频特征进行平滑化处理，得到旋律基频特征。