[发明专利]一种语音识别方法、装置、计算机设备及存储介质

说明书

本公开提供了一种语音识别方法、装置、计算机设备及存储介质，包括：获取待识别视频，并对所述待识别视频进行预处理，从所述待识别视频中提取目标音频序列和目标唇部关键点序列；将所述目标音频序列和所述目标唇部关键点序列输入至预先训练的语音识别网络中，分别对所述目标音频序列进行特征提取，得到音频特征；以及，对所述目标唇部关键点序列进行特征提取，得到唇部特征；将所述音频特征和所述唇部特征进行融合，得到融合特征；基于所述融合特征，确定所述待识别视频对应的语音识别结果。

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种语音识别方法、装置、计算机设备及存储介质。

背景技术

语音识别技术被广泛应用在各种场景，一般的，在进行语音识别时是直接识别音频。但是音频识别精度容易受到周边环境的影响，例如在噪声过大、某些不方便大声讲话的场景等，在这些场景下音频识别精度可能较低。为了提高语音识别精度，相关技术中还结合了唇语识别。

具体的，在确定最终的语音识别结果时，可以通过人为设置规则，结合唇语识别结果和音频识别结果确定最终的语音识别结果。然而这种方法需要认为设置规则，并且当场景发生变化时，可能需要重新设置规则，鲁棒性较差。

发明内容

本公开实施例至少提供一种语音识别方法、装置、计算机设备及存储介质。

第一方面，本公开实施例提供了一种语音识别方法，包括：

获取待识别视频，并对所述待识别视频进行预处理，从所述待识别视频中提取目标音频序列和目标唇部关键点序列；

将所述目标音频序列和所述目标唇部关键点序列输入至预先训练的语音识别网络中，分别对所述目标音频序列进行特征提取，得到音频特征；以及，对所述目标唇部关键点序列进行特征提取，得到唇部特征；

将所述音频特征和所述唇部特征进行融合，得到融合特征；

基于所述融合特征，确定所述待识别视频对应的语音识别结果。

本公开实施例提供的语音识别方法中，可以在特征层面将音频特征和唇部特征进行融合，得到融合特征，然后基于融合特征确定待识别视频对应的语音识别结果，这样无需额外设置语音识别结果和唇语识别结果的融合条件，就可以直接确定语音识别结果，适用于多种场景，鲁棒性较高。并且，由于在确定语音识别结果时，融合了音频特征和唇部特征，因此确定出的语音识别结果的精度较高。

一种可能的实施方式中，所述对所述待识别视频进行预处理，从所述待识别视频中提取目标音频序列和目标唇部关键点序列，包括：

检测所述待识别视频中各帧视频帧对应的唇部关键点信息，各帧视频帧对应的唇部关键点信息构成唇部关键点序列；

基于所述唇部关键点序列，确定至少一组语音时间戳，所述语音时间戳包括语音的开始时间戳和结束时间戳；

基于所述至少一组语音时间戳，从所述待识别视频中提取所述目标音频序列和目标唇部关键点序列。

通过这种方法，可以从所述待识别视频对应的较长的音频序列和唇部关键点序列中，提取出用户正在说话的时的目标音频序列和目标唇部关键点序列，由此可以降低后续进行特征提取时的计算量，并避免其他序列对于特征精度的影响，提升语音识别结果的精度。

一种可能的实施方式中，所述基于所述唇部关键点序列，确定至少一组语音时间戳，包括：

按照预设时间窗口长度，将所述唇部关键点序列依次输入至预先训练的唇动网络，确定输入的唇动关键点序列对应的唇动检测结果；其中，所述唇动检测结果用于表征所述唇动关键点序列对应的视频帧中的用户是否在说话；

基于所述唇动关键点序列对应的唇动检测结果，确定所述至少一组语音时间戳。