[发明专利]低资源多语言的语音识别模型、语音识别方法

说明书

本发明属于语音识别领域，具体涉及一种低资源多语言的语音识别模型、语音识别方法，旨在为了解决多语言混用状态下小语种语言识别准确度低的问题。本发明语音识别模型为端到端的语音识别模型，该模型中子词词表为多语言子词词表，所述多语言子词词表为设定低资源语种的标注文本与设定高资源语种的标注文本合并起来采用BPE算法共同生成多语言的符号词表；所述语音识别模型的训练数据为设定低资源语种的伪标注训练数据和设定高资源语种的训练数据的合并数据。本发明提高了包含小语种的多语种语音信息识别的准确度。

技术领域

本发明属于语音识别领域，具体涉及一种低资源多语言的语音识别模型、语音识别方法。

背景技术

随着智能设备等创新应用的推广，特别是智能手机的普及，语音识别作为人机交互的一个重要入口，现已被广泛应用于各类场景，例如语音输入、语音搜索、语音翻译等等。不同语种混合的现象在人们的日常交流中十分普遍，现有的语音识别系统对处理多语言混用和多方言混用情况下的语音识别存在诸多困难，目前尚未得到很好的解决。此外，目前的语音识别系统基本上仅限于世界上使用最广泛的十几种语言，例如英语、汉语等。这些语言拥有庞大的使用人群，因此可以比较方便的采集语音数据并建立语音识别系统。相比而言，对于那些小语种语言，由于使用小语种的人数有限，数据采集和标注工作十分困难，语音识别系统的建立受到了很大的限制，基于低资源的语音识别技术还远远没有达到实用的水平。

发明内容

为了解决现有技术中的上述问题，即为了解决多语言混用状态下小语种语言识别准确度低的问题，本发明的第一方面，提出了一种低资源多语言的语音识别模型，该语音识别模型为端到端的语音识别模型，其特征在于，该模型中子词词表为多语言子词词表，所述多语言子词词表为设定低资源语种的标注文本与设定高资源语种的标注文本合并起来采用BPE算法共同生成多语言的符号词表。

在一些优选实施方式中，所述语音识别模型的训练数据为设定低资源语种的伪标注训练数据和设定高资源语种的训练数据的合并数据；

所述设定低资源语种的伪标注训练数据，其获取方法为：

步骤A100，获取基于低资源语种的标注数据训练得到的GMM-HMM语音识别模型，然后基于该训练好的GMM-HMM语音识别模型对所述低资源语种的标注数据进行强制对齐，通过对齐信息找到每个子词对应的语音特征序列片段，获取该低资源语种的子词-语音特征序列片段映射关系；

步骤A200，对待标注的低资源语种的文本数据，通过步骤A100得到的所述子词-语音特征序列片段映射关系，获得所述待标注的低资源语种的文本数据中各子词对应的发音序列片段，采用拼接方式得到所述待标注的低资源语种的文本数据的语音特征序列；

步骤A300，将步骤A200中所述待标注的低资源语种的文本数据及对应的语音特征序列作为伪标注训练数据。

在一些优选实施方式中，所述多语言子词词表通过BPE算法生成，其生成方法为：

步骤B100，对多种语言的标注文本合集，采用字的词表对符号词表进行初始化，并且每个词采用一组带有特殊结束符的字序列来表示；

步骤B200，对每个相邻符号对进行频次统计，将最高频次的符号对合并起来用新的符号代替，迭代执行该步骤直至达到预设的合并次数为止；

步骤B300，将步骤B200中每次合并产生的新字符对应的原始字符作为子词增入所述符号词表，得到所述多语言子词词表。

在一些优选实施方式中，所述语音识别模型包括Multi-CNN-Transformer模型、Multi-CNN-Transformer-B模型、Multi-CNN-Transformer-E模型、Multi-CNN-Transformer-E2模型中的一种或多种。