[发明专利]一种基于BERT的电网调度语音识别语言模型构建方法

说明书

本发明涉及电网调度语音识别领域，尤其涉及一种基于BERT的电网调度语音识别语言模型构建方法，包括：提取电网调度语句的字粒度语义特征；提取电网调度语句的关键字特征；提取电网调度语句的命名实体特征；对输入BERT原始模型的电网调度语句以字为单元进行切分以提取位置特征，基于语义特征、关键字特征、命名实体特征以及位置特征对BERT原始模型进行训练得到电网调度语音识别语言模型。本发明的有益效果：根据电网调度语言特点和调度语音识别应用场景，对BERT模型的调度语句输入特征向量和输出概率预测方法进行改进，实现结合调度语言特征的电网调度语句合理性判断，且相比于其他常用的语言模型在电网调度语音识别方面有更高的准确性。

技术领域

本发明涉及电网调度语音识别领域，尤其涉及一种基于BERT的电网调度语音识别语言模型构建方法。

背景技术

随着配电网规模的扩大和信息化建设的推进，配网指挥涉及的信息不断增多，调度员每天需要进行大量重复性的发令、收令、核对等工作，由此产生了采用智能虚拟调度员代替重复性人工劳动的需求。其中，语音识别环节关系到虚拟调度员对现场人员汇报信息的准确理解，是调度指令正确处理和发送的基础。作为语音识别系统的两个核心组成模块，声学模型和语言模型分别从发音和语义的角度对输入语音进行文字重构，其中语言模型的主要功能是给出输入句子为一个合理句子的概率，即对句子的语义合理性进行衡量。由于语言模型往往涉及特定领域的语义理解，因此需要针对应用领域的语言特点进行设计，以提高模型的准确性。

目前，针对于电力领域的语音识别语言模型研究还比较少。一些研究构建了电力语音识别系统，但主要针对声学模型进行设计，在语言模型方面仅考虑了训练语料的选择，未对模型结构进行改进；一些研究在电力调度语言模型的使用过程中加入了语法规则，以辅助判断调度语言的合理性，但是涉及电网术语、命名实体等调度内容的合理性难以通过语法规则进行确定；一些研究考虑了电力专业术语，提出了可实时添加领域词的语言模型动态优化方法，提高了电力语音识别的准确性，但对于发音不准确的模糊匹配未进行充分设计。另外，上述研究所采用的语言模型均属于统计语言模型，未采用准确性和泛化能力更具优势的神经网络语言模型。

发明内容

为解决上述问题，本发明提出一种基于BERT的电网调度语音识别语言模型构建方法。

一种基于BERT的电网调度语音识别语言模型构建方法，包括：

提取电网调度语句的字粒度语义特征；

提取电网调度语句的关键字特征；

提取电网调度语句的命名实体特征；

对输入BERT原始模型的电网调度语句以字为单元进行切分以提取位置特征，基于语义特征、关键字特征、命名实体特征以及位置特征对BERT原始模型进行训练得到电网调度语音识别语言模型。

优选的，所述提取电网调度语句的字粒度语义特征包括：

以字为粒度对调度语句进行切分，每个字的语义特征向量采用word2vec的skip-gram模型生成。

优选的，所述提取电网调度语句的关键字特征包括：

对于电网调度语句中的每个字，将其拼音拆分为声母、韵母和声调三部分，当出现整体认读音节时直接拆分为声母和韵母，组合韵母不再进行拆分，不含声母的字或不含声调的字将声母或声调记为空值；

计算电网调度语句中每个字与各个关键字的相似度；

对于电网调度语句中的每个字，提取与其相似度最高的关键字的语义特征向量并根据相似度，得到该字的关键字特征向量。

优选的，所述计算电网调度语句中每个字与各个关键字的相似度包括：

计算公式如下：