[发明专利]一种语音识别方法、装置、设备及存储介质

说明书

本申请实施例公开了一种语音识别方法、装置、设备及存储介质，该方法包括：获取至少两个用户在同一场景中发言的语音信息，以及所述场景中包含所述用户的视频图像；基于所述语音信息的音频特征，从所述语音信息中获取只包含一个用户声音的至少一段子语音信息；基于所述至少一段子语音信息的起止时间段，确定所述视频图像中的至少一段子视频图像；基于所述至少一段子视频图像和所述至少一段子语音信息，确定目标用户发出的语音信息。如此，通过视频信息和语音信息来综合判断不同用户所发出的语音信息，能够在多人会话场景中准确识别不同用户所发出的语音信息，进而提高后续语音识别的准确性。

技术领域

本申请涉及语音技术，尤其涉及一种语音识别方法、装置、设备及存储介质。

背景技术

随着语音识别技术的发展，通过语音信息控制终端已经被广泛应用在各种移动终端、智能家电上。但目前语音识别技术仍存在语音识别不准确的问题，比如，对于多人会话的场景，如何准确识别不同用户的语音信息仍然是语音识别技术中一项亟待解决的问题。

发明内容

为解决上述技术问题，本申请实施例期望提供一种语音识别方法、装置、设备及存储介质。

本申请的技术方案是这样实现的：

第一方面，提供了一种语音识别方法，该方法包括：

获取至少两个用户在同一场景中发言的语音信息，以及所述场景中包含所述用户的视频图像；

基于所述语音信息的音频特征，从所述语音信息中获取只包含一个用户声音的至少一段子语音信息；

基于所述至少一段子语音信息的起止时间段，确定所述视频图像中的至少一段子视频图像；

基于所述至少一段子视频图像和所述至少一段子语音信息，确定目标用户发出的语音信息。

上述方案中，所述基于所述至少一段子视频图像和所述至少一段子语音信息，确定目标用户发出的语音信息，包括：从所述至少一段子语音信息中获取第一子语音信息，以及获取所述第一子语音信息对应的第一起止时间段；其中，所述第一子语音信息为所述至少一段子语音信息中的任意一段子语音信息；从所述至少一段子视频图像中确定所述第一起止时间段对应的第一子视频图像；基于所述第一子视频图像中的用户唇部特征，确定所述第一子视频图像中执行讲话动作的目标用户；确定所述第一子语音信息为所述目标用户发出的语音信息。

上述方案中，所述基于所述第一子视频图像中的用户唇部特征，确定所述第一子视频图像中执行讲话动作的目标用户，包括：识别所述第一子视频图像中的至少一个用户唇部的变化特征；将所述至少一个用户唇部的变化特征与用户讲话时的唇部标准特征进行匹配，确定匹配成功的唇部；将匹配成功的唇部对应的用户作为所述目标用户。

上述方案中，所述确定目标用户发出的语音信息还包括：对所述第一子语音信息进行特征提取，获取所述第一子语音信息的音频特征；从所述语音信息中确定音频特征与所述第一子语音信息的音频特征匹配的第二子语音信息；将所述第二子语音信息作为所述目标用户发出的语音信息。

上述方案中，所述从所述语音信息中确定音频特征与所述第一子语音信息的音频特征匹配的第二子语音信息，包括：将所述语音信息中的其他子语音信息的音频特征与所述第一子语音信息的音频特征进行匹配，确定匹配成功的第二子语音信息；其中，所述其他子语音信息为所述语音信息中除所述至少一段子语音信息之外的语音信息。

上述方案中，所述基于所述至少一段子语音信息的起止时间段，确定所述视频图像中的至少一段子视频图像，包括：基于所述至少一段子语音信息的起止时间段，确定每一个起止时间段在所述视频图像中对应的子视频图像。

上述方案中，所述方法还包括：根据所述目标用户发出的语音信息识别对应的文本信息；保存所述目标用户对应的文本信息。

第二方面，提供了一种语音识别装置，该装置包括：