[发明专利]一种基于视听网络的多模态语音分离方法及装置

权利要求书

1.一种基于视听网络的多模态语音分离方法，用于从待分离音视频中分离出画面中说话人的语音，其特征在于，包括如下步骤：

步骤S1-1，利用预定的第一预处理方法对包含噪声的第一音视频训练数据进行处理得到第一预处理数据；

步骤S1-2，构建多模态网络模型；

步骤S1-3，将所述第一预处理数据输入所述多模态网络模型进行训练，直到所述多模态网络模型收敛从而得到训练好的多模态网络模型作为音视频对齐判断模型；

步骤S1-4，利用预定的第二预处理方法对第二音视频训练数据进行处理得到第二预处理数据；

步骤S1-5，搭建Wave-U-Net分割模型，并与所述音视频对齐判断模型构成视听模型；

步骤S1-6，将所述第二预处理数据输入所述视听模型进行训练，直到所述视听模型收敛从而得到训练好的视听模型作为视音频分割模型；

步骤S1-7，将所述待分离音视频输入所述视音频分割模型得到所述画面中说话人的语音，

其中，所述步骤S1-4中所述第二预处理方法包括对所述第二音视频训练数据中的视频进行说话人个数标注并按照所述说话人个数进行分类从而得到多个子集作为所述第二预处理数据，

所述步骤S1-6中将所述第二预处理数据中的各个所述子集按照所述说话人个数由小到大的顺序逐步输入所述视听模型进行训练，

所述步骤S1-5中，所述音视频对齐判断模型包括视觉子网以及音频子网，

当所述第二预处理数据输入所述音视频对齐判断模型时，所述视觉子网中的3D卷积层对所述第二预处理数据中的视频进行特征提取得到视频特征，所述音频子网中的1D卷积层对所述第二预处理数据中的音频进行特征提取得到音频特征，

当所述视频特征的时间采样率与所述音频特征的时间采样率相同时，将所述视频特征的激活通道与所述音频特征的激活通道连接起来从而得到融合后视音频特征，然后利用3D卷积层对该融合后视音频特征进行进一步地特征提取，并通过全局平均池化层得到多模态特征，

所述Wave-U-Net分割模型对输入所述视听模型的第二预处理数据中的音频进行下采样，与所述音视频对齐判断模型中的所述音频特征连接融合得到底层特征，再通过上采样得到上采样特征，将所述底层特征与所述上采样特征进行拼接融合从而分离得到目标说话人的音频以及背景噪声的音频。

2.根据权利要求1所述的基于视听网络的多模态语音分离方法，其特征在于：

其中，所述步骤S1-1中所述第一预处理方法包括如下步骤：

步骤S2-1，对所述第一音视频训练数据中的视频进行采样切片得到多个采样视频；

步骤S2-2，对所述第一音视频训练数据中的音频进行音轨随机移动得到多个采样音频；

步骤S2-3，将所有所述采样视频以及所有所述采样音频作为所述第一预处理数据。

3.根据权利要求1所述的基于视听网络的多模态语音分离方法，其特征在于：

其中，所述Wave-U-Net分割模型是基于U-Net网络改进得到的一维时间域音频分割模型。

4.根据权利要求1所述的基于视听网络的多模态语音分离方法，其特征在于：

其中，所述第二预处理方法还包括对所述第二音视频训练数据中的视频进行采样切片得到多个切片视频，对所述第二音视频训练数据中的视频进行分段得到多个分段音频，并将每个所述分段音频的波形的振幅的平方平均值归一化成常数值，

将所述切片视频对应的音频作为画面中的说话人音频，从所有所述分段音频中随机选取预定数量的分段音频作为画面外的说话人音频，与所述切片视频以及该切片视频对应的所述音频混合从而得到混合音视频，

将所有所述切片视频进行混合后得到的所有混合音视频作为所述第二预处理数据。

5.一种基于视听网络的多模态语音分离装置，用于从待分离音视频中分离出画面中说话人的语音，其特征在于，包括：

第一预处理模块，利用预定的第一预处理方法对包含噪声的第一音视频训练数据进行处理得到第一预处理数据；

多模态模型构建模块，构建多模态网络模型；

多模态模型训练模块，将所述第一预处理数据输入所述多模态网络模型进行训练，直到所述多模态网络模型收敛从而得到训练好的多模态网络模型作为音视频对齐判断模型；

第二预处理模块，利用预定的第二预处理方法对第二音视频训练数据进行处理得到第二预处理数据；

视听模型构建模块，搭建Wave-U-Net分割模型，并与所述音视频对齐判断模型构成视听模型；

视听模型训练模块，将所述第二预处理数据输入所述视听模型进行训练，直到所述视听模型收敛从而得到训练好的视听模型作为视音频分割模型；以及

音频分离模块，将所述待分离音视频输入所述视音频分割模型得到所述画面中说话人的语音，

其中，所述第二预处理方法包括对所述第二音视频训练数据中的视频进行说话人个数标注并按照所述说话人个数进行分类从而得到多个子集作为所述第二预处理数据，

所述视听模型训练模块中将所述第二预处理数据中的各个所述子集按照所述说话人个数由小到大的顺序逐步输入所述视听模型进行训练，

所述音视频对齐判断模型包括视觉子网以及音频子网，

当所述第二预处理数据输入所述音视频对齐判断模型时，所述视觉子网中的3D卷积层对所述第二预处理数据中的视频进行特征提取得到视频特征，所述音频子网中的1D卷积层对所述第二预处理数据中的音频进行特征提取得到音频特征，

当所述视频特征的时间采样率与所述音频特征的时间采样率相同时，将所述视频特征的激活通道与所述音频特征的激活通道连接起来从而得到融合后视音频特征，然后利用3D卷积层对该融合后视音频特征进行进一步地特征提取，并通过全局平均池化层得到多模态特征，

所述Wave-U-Net分割模型对输入所述视听模型的第二预处理数据中的音频进行下采样，与所述音视频对齐判断模型中的所述音频特征连接融合得到底层特征，再通过上采样得到上采样特征，将所述底层特征与所述上采样特征进行拼接融合从而分离得到目标说话人的音频以及背景噪声的音频。