[发明专利]一种基于循环神经网络的蒙古语语言模型

摘要

本发明在原有的N‑Gram、NNLM、RNNLM语言模型的基础上提供了一种基于DNN的蒙古语声学模型。本发明在输入层引入上下文词向量和含有语义信息类别的词向量，不仅可以学习到更长距离的历史信息，同时也注入了相关的语义类别信息，有效的解决了现有的语言模型主要存在的问题。

主权项

1.一种基于循环神经网络的蒙古语语言模型，其特征在于：模型结构包括输入层、隐含层和输出层，输入层是x(t)，隐含层是s(t)，输出层是y(t)。在t时刻，输入向量x(t)包括三部分，分别是w(t)，s(t‑1)和f(t)，其中w(t)代表t时刻输入的词的one‑hot词向量表示；s(t‑1)为t‑1时刻隐含层的输出；f(t)为t时刻Skip‑Gram训练出的上下文词向量，维度远小于|V|；隐含层为s(t)；输出向量用y(t)表示，包括两部分，一部分是类别层神经元，另一部分是蒙古语词神经元，c(t)为对词汇表进行的词向量的聚类的类别层，输出向量y(t)即表示下一个词w(t+1)的概率，网络中，U、W、F为输入层与隐含层之间的权值矩阵，C为隐含层与类别层的权值矩阵，在输出层计算的时候先算词类的概率分布，再从所需的词类中计算特定词的概率，计算输出层的结果需要用到类别的输出结果，网络中各层输出值用表示为：x(t)＝w(t)+s(t‑1)+f(t)                         (1)s(t)＝f(U·w(t)+W·s(t‑1)+F·f(t))               (2)c(t)＝g(C·s(t))                                     (3)y(t)＝g(V′·s(t))                                    (4)其中V′∈R(c(w(t)))，R(c(w(t))表示w(t)所属的聚类的词集合，f表示sigmoid激活函数，g表示softmax激活函数。