[发明专利]一种去噪的语音识别方法及装置

说明书

本发明涉及通信技术领域，特别涉及一种去噪的语音识别方法及装置。该方法为：获取第一时段采集的音频信号；将所述第一时段采集的视频信号进行人脸识别，确定包含说话对象的图像帧；所述说话对象为根据所述视频信号中的图像帧中同一人脸的唇动特征确定的；根据所述包含说话对象的图像帧确定所述图像帧中说话对象的唇语特征；将所述包含说话对象的图像帧、所述图像帧中说话对象的唇语特征与所述第一时段采集的音频信号进行帧对齐；将帧对齐后所述包含说话对象的图像帧、所述图像帧中说话对象的唇语特征及所述第一时段采集的音频信号输入至语音识别模型中，确定所述说话对象的语音识别结果。

技术领域

本发明涉及音频处理技术，特别涉及一种去噪的语音识别方法及装置。

背景技术

当今社会中，出于会议场景或监控场景的需要，尤其是远程会议场景的需要，会议中或监控中仅能显示视频，无法在显示界面显示说话人的语音识别结果，导致会议或监控的效率不高，另外，针对会议中信息的记录也需要额外增加人力进行会议记录，导致耗费了大量的人力成本，无法提高业务效率。同理，针对监控场景，由于现有的监控中都是没有说话人的语音，导致对监控的相关业务受限，难以满足现实的需要。

发明内容

本发明实施例提供一种去噪的语音识别方法及装置，用以提高监控场景或会议场景下的语音识别的准确率和实效性。

本发明实施例提供的具体技术方案如下：

本发明实施例提供一种去噪的语音识别方法，包括：获取第一时段采集的音频信号；从所述第一时段采集的视频信号中确定包含说话对象的图像帧；所述说话对象为根据所述视频信号中同一人脸的唇动特征确定的；将所述第一时段采集的视频信号进行人脸识别，确定包含说话对象的图像帧；所述说话对象为根据所述视频信号中的图像帧中同一人脸的唇动特征确定的；

根据所述包含说话对象的图像帧确定所述图像帧中说话对象的唇语特征；

将所述包含说话对象的图像帧、所述图像帧中说话对象的唇语特征与所述第一时段采集的音频信号进行帧对齐；

将帧对齐后所述包含说话对象的图像帧、所述图像帧中说话对象的唇语特征及所述第一时段采集的音频信号输入至语音识别模型中，确定所述说话对象的语音识别结果。

本发明实施例中，通过将第一时段采集的视频信号进行人脸识别，及通过确定说话对象的唇语特征，确定包含说话对象的图像帧；进而通过帧对齐，将帧对齐后的所述包含说话对象的图像帧与所述第一时段采集的音频信号输入至语音识别模型中，使得通过图像帧识别的说话对象的可靠度增加，可以有效降低环境噪音或其他说话对象对语音识别的干扰，提高语音识别的准确率。

一种可能的实现方式，将所述第一时段采集的视频信号进行人脸识别，确定包含说话对象的图像帧，包括：

针对所述第一时段采集的视频信号中的任一图像帧，对所述图像帧进行人脸识别，确定所述图像帧中包含的各对象；根据所述图像帧中各对象的唇动概率，确定所述图像帧是否为包含说话对象的图像帧；其中，各对象的唇动概率是根据各对象的唇动特征确定的。

上述技术方案中，通过对图像中的唇部区域进行唇动检测，确定说话对象的图像帧，确定第一对象的唇动概率，进而提高了说话对象识别的准确度，进而有效提高了语音识别的准确率。

一种可能的实现方式，将所述第一时段采集的视频信号进行人脸识别，确定包含说话对象的图像帧，包括：

确定第一时刻的音频帧中的声源位置信息、所述第一时刻的图像帧中的各对象的唇动概率和各对象在图像帧中的位置信息，其中，所述第一时刻为所述第一时段中的任一时刻；其中，各对象的唇动概率是根据各对象的唇动特征确定的；