[发明专利]一种利用多种语言模型的端到端网络学习解决基于地点的语音的自动识别任务的方法

说明书

本发明公开了一种利用多种语言模型的端到端网络学习解决基于地点的语音的自动识别任务的方法。主要包括如下步骤：1)针对于一组基于地点的语音、相关联字符串数据集，根据编码器网络形成语音序列编码，利用连接时序分类器和含有大量地理名词的基于字符的语言模型生成序列编码的备选字符串集。2)根据得到的备选字符串集，使用含有大量地理名词的基于词语的语言模型和基于类型的语言模型选择出最佳的字符串答案。相比于一般的自动语音识别解决方案，本发明利用了多种语言模型的端到端网络学习的方法，能够综合利用词语的上下文相关性与句子的语法结构。本发明在基于地点的语音的自动识别中所取得的效果相比于传统的方法更好。

技术领域

本发明涉及基于地点的语音的自动识别任务，尤其涉及一种利用多种语言模型的端到端网络学习解决基于地点的语音的自动识别任务的方法。

背景技术

随着以神经网络技术基础的自动语音识别技术的蓬勃发展，以神经网络技术为基础的自动语音识别服务已经成为一项重要的网络服务，该服务可以针对于用户说出的语音，自动生成语音所对应的字符串，让其他的服务组件进一步进行自动问题回答、自然语言理解等工作的处理。而针对于一段语音对话，通常会有许多可能的备选字符串答案，如果将语音对话的核心聚焦在地点上，比如使用语音对话进行导航等服务，则对于答案字符串的组成也应当有不同的侧重，字符串中应当以较高的频率出现地点相关的词汇，上下文关系也应当以地点为主，但是目前的基于地点的语音对话的自动识别技术的效果并不是很好。

现有的基于地点的语音的自动识别技术主要是在神经网络中使用单一的基于字符的语言模型来提高自动语音识别的正确率，该方法主要是使用单一基于字符的语言模型来提高地理相关词汇的出现率，或者让上下文关系更加以地点为主，从而将与地点相关度最高的字符串排在前面，但是由于中文分词任务的困难性，该方法仅仅考虑到了字符串中字符间的相互关系，并没有充分利用字符串中词语间的相互关系和语法的结构。为了克服这个缺陷，本方法将同时利用基于字符、词语、类型的三种语言模型来提高识别的准确度。

本发明将首先利用深层卷积网络、双向门控循环单元和连接时序分类器来进行语音的序列编码，之后通过在含有大量地理名词的基于字符的语言模型中使用前缀集束搜索算法来排除有明显发音错误或语法错误的备选字符串，之后利用基于词语的语言模型和基于类型的语言模型来计算反映备选字符串上下文关系及语法关系的评价分数，结合为备选字符串的最终评价分数，选取最终评价分数最优的备选字符串作为最终的语音识别结果。

发明内容

本发明的目的在于解决现有技术中的问题，为了克服现有技术中仅仅关注到基于地点的语音识别中字符串内字符的相互关系，没有关注字符串内上下文相互关系及语法结构的问题，本发明提供一种利用多种语言模型的端到端网络学习解决基于地点的语音的自动识别任务的方法。本发明所采用的具体技术方案是：

利用多种语言模型的端到端网络学习解决基于地点的语音的自动识别任务的方法，包含如下步骤：

1)针对于一组基于地点的语音和相关联的字符串数据集，使用编码器获得语音中每个帧对应于词汇集的概率分布向量的序列编码；构建基于字符的语言模型LM₁，采用LM₁和前缀集束搜索算法得到序列编码的备选字符串集a和各个备选字符串对应的反映字符相关性的评价分数；

2)构建基于词语的语言模型LM₂；根据步骤1)得到的备选字符串集a和各个备选字符串对应的反映字符相关性的评价分数，利用LM₂得到各个备选字符串的反映上下文关系的评价分数；

3)将步骤1)得到的备选字符串集a映射到词语的所属类型的集合a'，构建基于类型的语言模型LM₃，根据a'和LM₃得到各个备选字符串的反映语法关系的评价分数；