[发明专利]一种语音识别方法、装置、设备及存储介质

权利要求书

1.一种语音识别方法，其特征在于，所述方法包括：

获取至少两个用户在同一场景中发言的语音信息，以及所述场景中包含所述用户的视频图像；

基于所述语音信息的音频特征，从所述语音信息中获取只包含一个用户声音的至少一段子语音信息；

基于所述至少一段子语音信息的起止时间段，确定所述视频图像中的至少一段子视频图像；

基于所述至少一段子视频图像和所述至少一段子语音信息，确定目标用户发出的语音信息；

其中，所述基于所述至少一段子视频图像和所述至少一段子语音信息，确定目标用户发出的语音信息，包括：

从所述至少一段子语音信息中获取第一子语音信息，以及获取所述第一子语音信息对应的第一起止时间段；其中，所述第一子语音信息为所述至少一段子语音信息中的任意一段子语音信息；

从所述至少一段子视频图像中确定所述第一起止时间段对应的第一子视频图像；

基于所述第一子视频图像中的用户唇部特征，确定所述第一子视频图像中执行讲话动作的目标用户；

确定所述第一子语音信息为所述目标用户发出的语音信息；

根据所述目标用户发出的语音信息识别对应的文本信息。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一子视频图像中的用户唇部特征，确定所述第一子视频图像中执行讲话动作的目标用户，包括：

识别所述第一子视频图像中的至少一个用户唇部的变化特征；

将所述至少一个用户唇部的变化特征与用户讲话时的唇部标准特征进行匹配，确定匹配成功的唇部；

将匹配成功的唇部对应的用户作为所述目标用户。

3.根据权利要求1所述的方法，其特征在于，所述确定目标用户发出的语音信息还包括：

对所述第一子语音信息进行特征提取，获取所述第一子语音信息的音频特征；

从所述语音信息中确定音频特征与所述第一子语音信息的音频特征匹配的第二子语音信息；

将所述第二子语音信息作为所述目标用户发出的语音信息。

4.根据权利要求3所述的方法，其特征在于，所述从所述语音信息中确定音频特征与所述第一子语音信息的音频特征匹配的第二子语音信息，包括：

将所述语音信息中的其他子语音信息的音频特征与所述第一子语音信息的音频特征进行匹配，确定匹配成功的第二子语音信息；

其中，所述其他子语音信息为所述语音信息中除所述至少一段子语音信息之外的语音信息。

5.根据权利要求1所述的方法，其特征在于，所述基于所述至少一段子语音信息的起止时间段，确定所述视频图像中的至少一段子视频图像，包括：

基于所述至少一段子语音信息的起止时间段，确定每一个起止时间段在所述视频图像中对应的子视频图像。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

保存所述目标用户对应的文本信息。

7.一种语音识别装置，其特征在于，所述装置包括：

获取单元，用于获取至少两个用户在同一场景中发言的语音信息，以及所述场景中包含所述用户的视频图像；

处理单元，用于基于所述语音信息的音频特征，从所述语音信息中获取只包含一个用户声音的至少一段子语音信息；基于所述至少一段子语音信息的起止时间段，确定所述视频图像中的至少一段子视频图像；

所述处理单元，还用于基于所述至少一段子视频图像和所述至少一段子语音信息，确定目标用户发出的语音信息；

所述处理单元，还用于从所述至少一段子语音信息中获取第一子语音信息，以及获取所述第一子语音信息对应的第一起止时间段；其中，所述第一子语音信息为所述至少一段子语音信息中的任意一段子语音信息；从所述至少一段子视频图像中确定所述第一起止时间段对应的第一子视频图像；基于所述第一子视频图像中的用户唇部特征，确定所述第一子视频图像中执行讲话动作的目标用户；确定所述第一子语音信息为所述目标用户发出的语音信息；根据所述目标用户发出的语音信息识别对应的文本信息。