[发明专利]人声和伴奏分离方法及相关产品

说明书

本申请实施例公开了一种人声和伴奏分离方法及相关产品，该方法包括：对混合音频进行傅里叶变换，得到所述混合音频的第一频谱图，所述混合音频为单声道音频，所述混合音频是由人声和伴奏进行混合得到的；将所述第一频谱图输入到神经网络，得到所述人声对应的第二频谱图以及所述伴奏对应的第三频谱图；根据所述第一频谱图对所述第二频谱图进行傅里叶反变换，得到所述人声；以及根据所述第一频谱图对所述第三频谱图进行傅里叶反变换，得到所述伴奏。

技术领域

本申请涉及音频处理技术领域，具体涉及一种人声和伴奏分离方法及相关产品。

背景技术

近些年来，音乐创作速度呈现爆炸式增长，每天有成百上千的原唱歌曲产生。但与原唱歌曲相对应的K歌伴奏和K歌歌词无法及时提供到K歌系统中使用。K歌系统中的绝大部分伴奏曲库都需要专业人员进行录制，录制效率低，成本较高。因此，为了提高录制效率，通过声伴分离技术，将原唱歌曲中的歌声和伴奏进行分离，将分离后的伴奏录入到K歌系统。

但是，目前现有技术大部分针对双声道歌曲的声伴分离，无法对单声道歌曲进行，造成应用场景受限。并且，对双声道歌曲进行分离时，需要利用人声在左右声道中的强度相似，而伴奏和乐器在两个声道中的强度有明显不同的特点才能将双声道歌曲中的伴奏和歌声进行分离。因此，对双声道歌曲进行分离时，需要同时对左右声道的混合歌曲进行分离，造成对双声道音频的分离复杂度比较高。

发明内容

本申请实施例提供了一种人声和伴奏分离方法及相关产品，通过对混合音频的频谱图的分离，以实现对单声道音频的人声和伴奏进行分离。

第一方面，本申请实施例提供一种人声和伴奏分离方法，包括：

对混合音频进行傅里叶变换，得到所述混合音频的第一频谱图，所述混合音频为单声道音频，所述混合音频是由人声和伴奏进行混合得到的；

将所述第一频谱图输入到神经网络，得到所述人声对应的第二频谱图以及所述伴奏对应的第三频谱图；

根据所述第一频谱图对所述第二频谱图进行傅里叶反变换，得到所述人声；以及根据所述第一频谱图对所述第三频谱图进行傅里叶反变换，得到所述伴奏。

第二方面，本申请实施例提供一种人声和伴奏分离方法，包括：

对第一混合音频和第二混合音频分别进行傅里叶变换，得到所述第一混合音频的第一频谱图以及第二混合音频的第二频谱图，其中，所述第一混合音频为双声道音频中一个声道上的音频，所述第二混合音频为所述双声道音频中另一个声道上的另一个混合音频，所述第一混合音频是由人声和第一伴奏混合得到的，所述第二混合音频是由所述人声和第二伴奏混合得到的；

将所述第一频谱图输入到神经网络，得到所述人声对应的第三频谱图以及所述第一伴奏对应的第四频谱图；

将所述第二频谱图输入到所述神经网络，得到所述人声对应的第五频谱图以及所述第二伴奏对应的第六频谱图；

根据所述第一频谱图分别对所述第三频谱图和所述第四频谱图执行傅里叶反变换，得到所述人声和所述第一伴奏；

根据所述第二频谱图分别对所述第五频谱图和所述第六频谱图执行傅里叶反变换，得到所述人声和所述第二伴奏。

第三方面，本申请实施例提供了一种人声和伴奏分离装置，包括：

第一变换单元，用于对混合音频进行傅里叶变换，得到所述混合音频的第一频谱图，所述混合音频为单声道音频，所述混合音频是由人声和伴奏进行混合得到的；

分离单元，用于将所述第一频谱图输入到神经网络，得到所述人声对应的第二频谱图以及所述伴奏对应的第三频谱图；

第二变换单元，用于根据所述第一频谱图对所述第二频谱图进行傅里叶反变换，得到所述人声；以及根据所述第一频谱图对所述第三频谱图进行傅里叶反变换，得到所述伴奏。