[发明专利]一种去噪的语音识别方法及装置

权利要求书

1.一种去噪的语音识别方法，其特征在于，包括：

获取第一时段采集的音频信号；

将所述第一时段采集的视频信号进行人脸识别，确定包含说话对象的图像帧；所述说话对象为根据所述视频信号中的图像帧中同一人脸的唇动特征确定的；

根据所述包含说话对象的图像帧确定所述图像帧中说话对象的唇语特征；

将所述包含说话对象的图像帧、所述图像帧中说话对象的唇语特征与所述第一时段采集的音频信号进行帧对齐；

将帧对齐后所述包含说话对象的图像帧、所述图像帧中说话对象的唇语特征及所述第一时段采集的音频信号输入至语音识别模型中，确定所述说话对象的语音识别结果。

2.如权利要求1所述的方法，其特征在于，将所述第一时段采集的视频信号进行人脸识别，确定包含说话对象的图像帧，包括：

针对所述第一时段采集的视频信号中的任一图像帧，对所述图像帧进行人脸识别，确定所述图像帧中包含的各对象；根据所述图像帧中各对象的唇动概率，确定所述图像帧是否为包含说话对象的图像帧；其中，各对象的唇动概率是根据各对象的唇动特征确定的。

3.如权利要求1所述的方法，其特征在于，将所述第一时段采集的视频信号进行人脸识别，确定包含说话对象的图像帧，包括：

确定第一时刻的音频帧中的声源位置信息、所述第一时刻的图像帧中的各对象的唇动概率和各对象在图像帧中的位置信息，其中，所述第一时刻为所述第一时段中的任一时刻；其中，各对象的唇动概率是根据各对象的唇动特征确定的；

若所述第一时刻的图像帧包含第一对象，则确定所述第一时刻的图像帧为包含说话对象的图像帧；其中，所述第一对象在图像帧中的位置信息与所述声源位置信息相匹配且所述第一对象的唇动概率符合说话特征。

4.如权利要求3所述的方法，其特征在于，将所述包含说话对象的图像帧、所述图像帧中说话对象的唇语特征与所述第一时段采集的音频信号进行帧对齐，包括:

将所述包含说话对象的图像帧、包含声源位置信息的音频帧、所述图像帧中说话对象的唇语特征及所述第一时段采集的音频信号进行帧对齐；

将帧对齐后所述包含说话对象的图像帧、所述图像帧中说话对象的唇语特征及所述第一时段采集的音频信号输入至语音识别模型中，确定所述说话对象的语音识别结果，包括：

将帧对齐后的所述包含说话对象的图像帧、包含声源位置信息的音频帧、所述图像帧中说话对象的唇语特征与所述第一时段采集的音频信号输入至语音识别模型中，确定所述说话对象的语音识别结果。

5.如权利要求1至4任一项所述的方法，其特征在于，所述语音识别模型包括具有不同属性的子模型；

将帧对齐后的所述包含说话对象的图像帧、所述图像帧中说话对象的唇语特征与所述第一时段采集的音频信号输入至语音识别模型中，确定所述说话对象的语音识别结果，包括：

根据所述包含说话对象的图像帧确定所述说话对象的身份信息；

将所述说话对象的身份信息、所述包含说话对象的图像帧、所述图像帧中说话对象的唇语特征与所述第一时段采集的音频信号输入至所述语音识别模型，确定所述说话对象的语音识别结果；其中，所述说话对象的身份信息用于确定对所述说话对象进行语音识别时使用的子模型。

6.一种去噪的语音识别装置，其特征在于，包括：

收发单元，用于获取第一时段采集的音频信号；

处理单元，用于将所述第一时段采集的视频信号进行人脸识别，确定包含说话对象的图像帧；所述说话对象为根据所述视频信号中的图像帧中同一人脸的唇动特征确定的；根据所述包含说话对象的图像帧确定所述图像帧中说话对象的唇语特征；将所述包含说话对象的图像帧、所述图像帧中说话对象的唇语特征与所述第一时段采集的音频信号进行帧对齐；将帧对齐后所述包含说话对象的图像帧、所述图像帧中说话对象的唇语特征及所述第一时段采集的音频信号输入至语音识别模型中，确定所述说话对象的语音识别结果。