[发明专利]一种基于关键词增强的语言模型建模方法

说明书

本发明公开了一种基于关键词增强的语言模型建模方法，该方法包括建模，在语言模型建模时，设置一偏置编码器，所述偏置编码器位于语言模型的编码器的并行区；同时，定义偏置文本，通过偏置文本对稀有词和命名实体文本进行抽取；所述偏置文本包含有稀有词及命名实体；在训练时，会先将训练集中每句话中包含的稀有词和命名实体文本抽取出来，并在语言模型训练的每一批次中加入相对应的每句话所包含的命名实体。本发明在没有利用额外文本的基础上能够更加关注到稀有词和命名实体的，同时又不会损失在普通文本上的识别性能，能够避免对于稀有词的识别错误问题。

技术领域

本发明属于语音识别的技术领域，特别涉及一种基于关键词增强的语言模型建模方法。

背景技术

现有的语音识别技术针对训练集出现的很少乃至甚至没有出现的稀有词的识别正确率很低的问题。目前的方案都是需要基于目标域的语音文本数据集训练出语言模型在解码时进行浅融合操作，但是基于目标域文本训练的语言模型的浅融合操作在语音识别过程中对稀有词的召回并没有太大的性能改善；目前还有基于内部语言模型估计方法来改善对目标域语音的识别正确率，但是内部语言模型估计对于稀有词的识别却没有任何改善。

如专利申请202210180247.0公开了一种用于语音识别的热词增强方法、设备及介质。方法包括：通过编码器获取热词的音频文件，并根据音频文件提取特征，将提取的特征发送至CTC解码器，以通过CTC解码器获得流式识别结果；将流式识别结果输入至语言模型进行浅融合，以根据前缀树对识别结果进行偏置，得到搜索图；通过WFST进行浅融合，以根据搜索图获取最佳路径，将最佳路径发送至注意力解码器，通过注意力解码器获得精确结果，以完成对热词的增强。

目前的方案需要基于目标域的语音文本数据集训练出语言模型在解码时进行浅融合操作时，浅融合的方法只能够在一定程度上解决语音识别过程中一些因为声学模型和隐形内部语言模型基于源域数据集带有的一些语言偏见问题，他不能解决目标域测试集中包含的稀有词的识别问题；基于内置语言模型估计方法虽然相比浅融合的方法能够进一步的解决隐形内置语言模型带来的语言偏见问题，但是内置语言模型估计方法假设源域和目标域在声学上是一致的，这个假设本身其实就是不太合理的。而且内部语言模型估计也忽略了基于内部语言模型的某些预测可能是正确的情况，并且内置语言模型估计方法相对浅融合花费的时间高了一倍左右。

因此现有技术的缺陷是:浅融合的方法不能解决目标域测试集中包含的稀有词的识别问题；基于内置语言模型估计方法虽然相比浅融合的方法能够进一步的解决隐形内置语言模型带来的语言偏见问题，但是内部语言模型估计方法也具有一定的不合理性，并且时间花费也比浅融合方法时间花费成本要高。

发明内容

基于此，因此本发明的首要目地是提供一种基于关键词增强的语言模型建模方法，该方法针对稀有词语音数据稀缺问题，将上下文端到端语音识别模型的迁移到语言模型的训练中，以此来实现对稀有词识别的改进。

本发明的另一个目地在于提供一种基于关键词增强的语言模型建模方法，该方法在语言模型训练过程中，将稀有词信息作为一个启发式信息去有目的的训练语言模型，语言模型在参与到语音识别推理过程中时会对稀有词的识别更加敏感，提高了识别的准确性。

为实现上述目的，本发明的技术方案为：

一种基于关键词增强的语言模型建模方法，该方法包括建模，其特征在于在语言模型建模时，设置一偏置编码器，所述偏置编码器位于语言模型的编码器的并行区；同时，定义偏置文本，通过偏置文本对稀有词和命名实体文本进行抽取；所述偏置文本包含有稀有词及命名实体；在训练时，会先将训练集中每句话中包含的稀有词和命名实体文本抽取出来，并在语言模型训练的每一批次中加入相对应的每句话所包含的命名实体。

进一步，训练期间：

(1)训练文本经过编码器编码为嵌入，同时，将偏置文本经过偏置编码器编码嵌入；