[发明专利]语音识别方法、装置、电子设备及存储介质

权利要求书

1.一种语音识别方法，其特征在于，所述方法包括：

获取音频信号和振动信号，所述振动信号为第一对象的发声部位的皮肤振动产生的信号，所述音频信号的采集时间与所述振动信号的采集时间之间的时间间隔在预设范围内；

分别确定所述音频信号与所述振动信号之间的关联特征、所述音频信号的音频特征、以及所述振动信号的振动特征；

对所述关联特征、所述音频特征和所述振动特征进行融合，得到融合特征；

对所述融合特征进行语音识别。

2.根据权利要求1所述的方法，其特征在于，所述分别确定所述音频信号与所述振动信号之间的关联特征、所述音频信号的音频特征、以及所述振动信号的振动特征，包括：

按照相同的时间长度对所述音频信号和所述振动信号分别进行分帧，得到连续的多个音频信号帧和多个振动信号帧，其中，每个音频信号帧按照时间对应有一个振动信号帧；

确定每个所述音频信号帧与所述音频信号帧对应的振动信号帧之间的关联子特征；

确定所述关联特征由多个所述音频信号帧对应的关联子特征构成；

确定所述音频特征由多个所述音频信号帧的音频子特征构成；

确定所述振动特征由多个所述振动信号帧的振动子特征构成。

3.根据权利要求2所述的方法，其特征在于，所述对所述关联特征、所述音频特征和所述振动特征进行融合，得到融合特征，包括：

对每个所述音频信号帧的音频子特征、所述音频信号帧对应的振动信号帧的振动子特征以及所述音频信号帧与所述振动信号帧之间的关联子特征进行融合，得到所述音频信号帧对应的融合子特征；

确定所述融合特征由多个所述音频信号帧对应的融合子特征构成。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述融合特征包括多个所述音频信号帧对应的融合子特征，所述对所述融合特征进行语音识别，包括：

对每个所述音频信号帧对应的融合子特征与所述音频信号帧对应的多个其他融合子特征进行融合，得到所述音频信号帧对应的更新后的融合子特征；

调用语音识别网络，对多个所述音频信号帧对应的更新后的融合子特征进行语音识别，得到文本信息；

其中，所述多个其他融合子特征为位于所述音频信号帧之前的第一数量的音频信号帧对应的融合子特征或位于所述音频信号帧之后的第二数量的音频信号帧对应的融合子特征，或者所述多个其他的融合子特征为取自所述音频信号帧之前和之后的多个音频信号帧对应的融合子特征。

5.根据权利要求4所述的方法，其特征在于，在获取音频信号和振动信号之前，还包括：训练所述语音识别网络；所述训练所述语音识别网络的步骤包括：

获取样本音频信号、所述样本音频信号对应的标注文本信息和样本振动信号，所述样本音频信号的采集时间与所述样本振动信号的采集时间之间的时间间隔在所述预设范围内，所述样本振动信号为第二对象的发声部位的皮肤振动产生的信号；

对所述样本音频信号与所述样本振动信号之间的样本关联特征、所述样本音频信号的样本音频特征、以及所述样本振动信号的样本振动特征进行融合，得到样本融合特征；

调用所述语音识别网络，对所述样本融合特征进行语音识别，得到预测文本信息；

基于所述预测文本信息和所述标注文本信息，训练所述语音识别网络。

6.根据权利要求4所述的方法，其特征在于，所述语音识别网络包括声学模型和语言模型，所述调用语音识别网络，对多个所述音频信号帧对应的更新后的融合子特征进行语音识别，得到文本信息，包括：

调用所述声学模型，对多个所述音频信号帧对应的更新后的融合子特征进行声学识别，得到多个所述音频信号帧对应的声学单元；

调用所述语言模型，将多个所述音频信号帧对应的声学单元转换为至少一个文本单元，将所述至少一个文本单元构成所述文本信息。