[发明专利]语音识别方法、模型训练方法、装置、设备及介质

说明书

本公开涉及一种语音识别方法、模型训练方法、装置、设备及介质。本公开通过获取目标语音数据、以及目标语音数据对应的目标视频数据，并分别获取目标语音数据的第一特征信息和目标视频数据的第二特征信息。进一步，将相同维度的第一特征信息和第二特征信息进行融合处理，得到目标融合数据，并根据该目标融合数据确定用户语义。相比于单独采用听觉数据进行语音识别，本实施例通过目标语音数据和目标视频数据相融合的方式进行语音识别，可以提高语音识别的准确率，从而可以提高用户体验。

技术领域

本公开涉及信息技术领域，尤其涉及一种语音识别方法、模型训练方法、装置、设备及介质。

背景技术

在智能家居系统中，语音识别技术占据着比较重要的地位。具体的，具有语音识别功能的终端设备，例如，智能音箱、智能手机等可以采集用户的语音信息，并针对用户的语音信息进行语音识别，从而获得用户语义。进一步，根据用户语义进行反馈应答。

但是，在实际应用中，环境中可能会存在噪声、远场等多种干扰因素，使得语音识别的准确率会受到很大的影响，例如出现误判、错判等情况。从而影响用户体验。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种语音识别方法、模型训练方法、装置、设备及介质，以提高语音识别的准确率，从而提高用户体验。

第一方面，本公开实施例提供一种语音识别方法，包括：

获取目标语音数据、以及所述目标语音数据对应的目标视频数据；

分别获取所述目标语音数据的第一特征信息和所述目标视频数据的第二特征信息；

将所述第一特征信息和所述第二特征信息映射到相同的空间维度，得到相同维度的第一特征信息和第二特征信息；

将所述相同维度的第一特征信息和第二特征信息进行融合处理，得到目标融合数据；

根据所述目标融合数据确定用户语义。

第二方面，本公开实施例提供一种模型训练方法，所述模型包括：第一卷积层、第二卷积层和全连接层；所述方法包括：

获取预设文本对应的样本语音信息和样本视频信息；

根据所述预设文本中的多个预设标签将所述样本语音信息切分为多段样本语音数据，以及根据所述多个预设标签将所述样本视频信息切分为多段样本视频数据；

针对同一预设标签对应的样本语音数据和样本视频数据，分别获取所述样本语音数据的第三特征信息和所述样本视频数据的第四特征信息；

根据所述多个预设标签中的每个预设标签、所述每个预设标签分别对应的第三特征信息和第四特征信息，对第一卷积层、第二卷积层和全连接层进行训练，所述第一卷积层和所述第二卷积层用于将同一预设标签对应的第三特征信息和第四特征信息映射到相同的空间维度，所述全连接层用于对样本融合数据进行分类，所述样本融合数据是将同一预设标签对应的相同维度的第三特征信息和第四特征信息进行融合处理后得到的数据。

第三方面，本公开实施例提供一种语音识别装置，包括：

获取模块，用于获取目标语音数据、以及所述目标语音数据对应的目标视频数据；分别获取所述目标语音数据的第一特征信息和所述目标视频数据的第二特征信息；

映射模块，用于将所述第一特征信息和所述第二特征信息映射到相同的空间维度，得到相同维度的第一特征信息和第二特征信息；

融合模块，用于将所述相同维度的第一特征信息和第二特征信息进行融合处理，得到目标融合数据；

确定模块，用于根据所述目标融合数据确定用户语义。