[发明专利]基于双向LSTM神经网络的语句识别方法及装置

摘要

本发明公开了一种基于双向LSTM神经网络的语句识别方法及装置，属于模式识别与自然语言理解技术领域。该方法包括：获取第一输入系统和第二输入系统中语句的第一切词序列x₁＝{x₁₁,x₁₂，……，x_1n}和第二切词序列x₂＝{x₂₁,x₂₂，……，x_2m}；建立两个双向LSTM神经网络模型；将第一切词序列和第二切词序列分别作为两个双向LSTM神经网络模型的第一输入序列和第二输入序列；通过双向LSTM神经网络模型的参数对第一输入序列和第二输入序列进行标准化，以获得标准化后的第一输出和第二输出；比较第一输出y₁和第二输出y₂，以实现语义识别。该装置通过切词获取单元获取语句切词序列，网络模型建立单元建立模型，并输入选取单元、计算单元、比较单元以实现语义理解。

主权项

1.一种基于双向LSTM神经网络的语句识别方法，其特征在于，所述方法包括：获取第一输入系统和第二输入系统中语句的第一切词序列x1＝{x11,x12，……，x1n}和第二切词序列x2＝{x21,x22，……，x2m}；建立两个双向LSTM神经网络模型；将所述第一切词序列和所述第二切词序列分别作为所述两个双向LSTM神经网络模型的第一输入序列和第二输入序列；通过所述双向LSTM神经网络模型的参数对所述第一输入序列和所述第二输入序列进行标准化，以获得标准化后的第一输出y1和第二输出y2；比较所述第一输出y1和第二输出y2，以实现语义识别；其中，n为所述第一切词序列的元素数量，m为所述第二切词序列的元素数量；所述建立两个双向LSTM神经网络模型，其中，每个双向LSTM神经网络模型包括：输入、输入门、遗忘门、记忆细胞、tanh函数、隐藏层、反馈部、输出门；其中，在输入的序列为t时，参数的计算公式如下：Gfeedback(t)＝sigmoid(Wfx1xt+Wfh1ht‑1+Wfm1mt‑1+Wfh2ht+1+Wfm2mt+1+ef)；Ginput(t)＝sigmoid(Wih1ht‑1+Wim1mt‑1+Wif Gfeedback(t)+Wih2ht+1+Wim2mt+1+ei)；Gdisremember(t)＝sigmoid(Wdh1ht‑1+Wdm1mt‑1+Wdf Gfeedback(t)+Wdh2ht+1+Wdm2mt+1+ed)；mt＝Gdisremember(t)×mt‑1+Gdisremember(t)×mt+1+Ginput(t)×tanh(Wmf Gfeedback(t)+Wmh1ht‑1+Wmh2ht+1+em)；Goutput(t)＝sigmoid(Wof Gfeedback(t)+Woh1ht‑1+Wom1mt‑1+Woh2ht+1+Wom2mt+1+eo)；ht＝Goutput(t)×mt；yt＝softmaxk(Wyhht+ey)；其中，Gfeedback(t)为序列为t时反馈门的输出；Wfx1为序列为t时反馈门与序列为t时输入xt的权值；Wfh1为序列为t时反馈门与序列为t‑1时隐藏层输入ht‑1之间的权值；Wfh2为序列为t时反馈门与序列为t+1时隐藏层输入ht+1之间的权值；Wfm1为序列为t时反馈门与序列为t‑1时记忆细胞输入mt‑1之间的权值；Wfm2为序列为t时反馈门与序列为t+1时记忆细胞输入mt+1之间的权值；Ginput(t)为序列为t时输入门的输出；Wih1为序列为t时输入门与序列为t‑1时隐藏层输入ht‑1之间的权值；Wih2为序列为t时输入门与序列为t+1时隐藏层输入ht+1之间的权值；Wim1为序列为t时输入门与序列为t‑1时记忆细胞输入mt‑1之间的权值；Wim2为序列为t时输入门与序列为t+1时记忆细胞输入mt+1之间的权值；Wif为序列为t时输入门与序列为t时反馈门之间的权值；Gdisremember(t)为序列为t时遗忘门的输出；Wdh1为序列为t时遗忘门与序列为t‑1时隐藏层输入ht‑1之间的权值；Wdh2为序列为t时遗忘门与序列为t+1时隐藏层输入ht+1之间的权值；Wdm1为序列为t时遗忘门与序列为t‑1时记忆细胞输入mt‑1之间的权值；Wdm2为序列为t时遗忘门与序列为t+1时记忆细胞输入mt+1之间的权值；Wmf为序列为t时记忆细胞与序列为t时反馈门之间的权值；Wmh1为序列为t时记忆细胞与序列为t‑1时隐藏层输入ht‑1之间的权值；Wmh2为序列为t时记忆细胞与序列为t+1时隐藏层输入ht+1之间的权值；Wof为序列为t时输出门与序列为t时反馈门之间的权值；Woh1为序列为t时输出门与序列为t‑1时隐藏层输入ht‑1之间的权值；Woh2为序列为t时输出门与序列为t+1时隐藏层输入ht+1之间的权值；Wom1为序列为t时输出门与序列为t‑1时记忆细胞输入mt‑1之间的权值；Wom2为序列为t时输出门与序列为t+1时记忆细胞输入mt+1之间的权值；Wyh为序列为t时输出与序列为t时隐藏层输入ht之间的权值；sigmoid(x)函数为tanh(x)函数为softmax_k(x)函数为其中，x_k为第k个softmax函数的输入，k大于1，且小于K；xt为序列为t时的输入；yt为序列为t时的输出；ht为序列为t时隐藏层的输入；mt为序列为t时记忆细胞的输出；ef为序列为t时反馈门的偏差值；ei为序列为t时输入门的偏差值；ed为序列为t时遗忘门的偏差值；em为序列为t时记忆细胞的偏差值；eo为序列为t时输出门的偏差值；ey为序列为t时输出的偏差值。