[发明专利]语音识别方法、模型训练方法、装置、设备及介质有效
| 申请号： | 202110291861.X | 申请日： | 2021-03-18 |
| 公开（公告）号： | CN113053361B | 公开（公告）日： | 2023-07-04 |
| 发明（设计）人： | 李森 | 申请（专利权）人： | 北京金山云网络技术有限公司 |
| 主分类号： | G10L15/02 | 分类号： | G10L15/02;G10L15/06;G10L15/20;G06V40/20;G06V10/44;G06V10/764;G06F18/25;G06N3/0464;G06N3/08 |
| 代理公司： | 北京开阳星知识产权代理有限公司 11710 | 代理人： | 张子青 |
| 地址： | 100085 北京市海淀*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 语音 识别 方法 模型 训练 装置 设备 介质 | ||
1.一种语音识别方法，其特征在于，所述方法包括：
获取目标语音数据、以及所述目标语音数据对应的目标视频数据；
分别获取所述目标语音数据的第一特征信息和所述目标视频数据的第二特征信息；
将所述第一特征信息和所述第二特征信息映射到相同的空间维度，得到相同维度的第一特征信息和第二特征信息；
将所述相同维度的第一特征信息和第二特征信息进行融合处理，得到目标融合数据；
根据所述目标融合数据确定用户语义；
所述将所述第一特征信息和所述第二特征信息映射到相同的空间维度，得到相同维度的第一特征信息和第二特征信息，包括：
将所述第一特征信息输入到第一卷积层，将所述第二特征信息输入到第二卷积层；
根据所述第一卷积层和所述第二卷积层得到相同维度的第一特征信息和第二特征信息；
所述获取目标语音数据、以及所述目标语音数据对应的目标视频数据之前，所述方法还包括：
获取预设文本对应的样本语音信息和样本视频信息；
根据所述预设文本中的多个预设标签将所述样本语音信息切分为多段样本语音数据，以及根据所述多个预设标签将所述样本视频信息切分为多段样本视频数据；
针对同一预设标签对应的样本语音数据和样本视频数据，分别获取所述样本语音数据的第三特征信息和所述样本视频数据的第四特征信息；
根据所述多个预设标签中的每个预设标签、所述每个预设标签分别对应的第三特征信息和第四特征信息，对第一卷积层、第二卷积层和全连接层进行训练，所述第一卷积层和所述第二卷积层用于将同一预设标签对应的第三特征信息和第四特征信息映射到相同的空间维度，所述全连接层用于对样本融合数据进行分类，所述样本融合数据是将同一预设标签对应的相同维度的第三特征信息和第四特征信息进行融合处理后得到的数据。
2.根据权利要求1所述的方法，其特征在于，获取目标语音数据、以及所述目标语音数据对应的目标视频数据，包括：
采集用户的目标语音信息和目标视频信息；
根据多个预设标签将所述目标语音信息切分为多段目标语音数据、以及根据所述多个预设标签将所述目标视频信息切分为多段目标视频数据；
获取同一预设标签对应的目标语音数据和目标视频数据。
3.根据权利要求1或2所述的方法，其特征在于，获取所述目标语音数据的第一特征信息，包括：
对所述目标语音数据进行预处理，得到预处理后的目标语音数据；
对所述预处理后的目标语音数据进行特征提取，得到所述目标语音数据的第一特征信息。
4.根据权利要求1或2所述的方法，其特征在于，获取所述目标视频数据的第二特征信息，包括：
提取所述目标视频数据中嘴唇的运动轨迹；
根据所述目标视频数据中嘴唇的运动轨迹，确定所述目标视频数据的第二特征信息。
5.根据权利要求1所述的方法，其特征在于，根据所述目标融合数据确定用户语义，包括：
将所述目标融合数据作为全连接层的输入，通过所述全连接层对所述目标融合数据进行分类，得到所述用户语义。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京金山云网络技术有限公司，未经北京金山云网络技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202110291861.X/1.html，转载请声明来源钻瓜专利网。
