[发明专利]一种语音识别模型训练方法、装置和可读存储介质

权利要求书

1.一种语音识别模型训练方法，其特征在于，所述方法用于基于训练样本集训练语音识别模型，所述语音识别模型包括特征提取器和分类器，所述特征提取器包括第一提取器和第二提取器，所述训练样本集包括多个语音样本和每个语音样本对应的标签数据，所述方法包括：

从所述训练样本集中获取当前迭代的语音样本，将当前迭代的语音样本进行等份切分得到第一语音片段序列，从所述第一语音片段序列中随机选取预设比例的语音片段得到第二语音片段序列；

将所述第一语音片段序列输入所述第一提取器进行处理，得到第一特征组，以及将所述第二语音片段序列输入所述第一提取器进行处理，得到第二特征组；

在所述第二特征组中填充预置向量，使得填充后的第二特征组与所述第一特征组的长度相等；

将所述第一特征组输入表示器进行处理，得到第一向量组，以及将所述填充后的第二特征组输入所述第二提取器进行处理，得到第二向量组；

根据所述第一向量组和所述第二向量组计算第一损失值，根据所述第一损失值分别调整所述第一提取器、所述第二提取器、以及所述表示器的参数，进入下一轮迭代，在到达迭代停止条件时得到训练完成的特征提取器；

基于所述训练样本集中的语音样本和语音样本对应的标签数据，利用所述训练完成的特征提取器训练所述分类器；

其中，所述在所述第二特征组中填充预置向量，包括：

确定所述第二特征组中相对于所述第一特征组中的缺失向量的位置；

将所述第二特征组中每个缺失向量的位置处填充预置向量。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一向量组和所述第二向量组计算第一损失值，包括：

对于所述第二向量组中的每个预置向量对应的高维向量，计算所述每个预置向量与所述第一向量组中的同位置向量对应的高维向量之间的第一相似度，以及计算所述每个预置向量与所述第一向量组中的不同位置向量对应的高维向量之间的第二相似度；

根据所述第一相似度和所述第二相似度，计算第一损失值。

3.根据权利要求1所述的方法，其特征在于，所述训练完成的特征提取器包括训练完成的第一提取器和训练完成的第二提取器，所述基于所述训练样本集中的语音样本和语音样本对应的标签数据，利用所述训练完成的特征提取器训练所述分类器，包括：

从所述训练样本集中获取当前迭代的语音样本，将当前迭代的语音样本进行等份切分得到第一语音片段序列；

将所述第一语音片段序列输入训练完成的第一提取器进行处理，得到第三特征组；

将所述第三特征组输入训练完成的第二提取器进行处理，得到第三向量组；

将所述第三向量组输入分类器进行处理，得到所述第三向量组中每个向量对应的识别结果；

获取所述第一语音片段序列中每个语音片段对应的标签数据，所述第一语音片段序列中每个语音片段与所述第三向量组中每个向量具有一一对应的关系；

根据所述第三向量组中每个向量对应的识别结果与所述第一语音片段序列中每个语音片段对应的标签数据之间的差异，计算第二损失值；

根据所述第二损失值调整所述分类器的参数，进入下一轮迭代，在到达迭代停止条件时得到训练完成的分类器。

4.根据权利要求1所述的方法，其特征在于，所述第一语音片段序列中包含n个语音片段，所述第二语音片段序列中包含m个语音片段，m=n*k，k为预设比例，所述第一特征组中包含所述第一提取器分别对所述第一语音片段序列中的n个语音片段进行特征提取得到的n个特征向量，所述第二特征组中包含所述第一提取器分别对所述第二语音片段序列中的m个语音片段进行特征提取得到的m个特征向量；所述第一向量组中包含所述表示器分别对所述第一特征组中的n个特征向量进行编码得到的n个高维向量，所述第二向量组中包含所述第二提取器分别对所述填充后的第二特征组中的n个特征向量进行编码得到的n个高维向量。

5.根据权利要求1至4任一所述的方法，其特征在于，所述第一提取器为三层一维的卷积网络，所述第二提取器为Transformer变形网络，所述表示器为一层全连接层，所述分类器为一层全连接层。