[发明专利]一种基于seq2seq+attention的中文文本纠错方法

摘要

本发明涉及一种基于seq2seq+attention的中文文本纠错方法，属于数据质量的研究范畴，涉及RNN，双向RNN，LSTM，seq2seq，attention机制等技术领域，主要针对通信设备检修记录，构建seq2seq+attention神经网络模型，采用Adam优化方法进行模型训练，利用已经训练好的模型进行纠错任务。本方法中所用到的神经网络模型可广泛应用于其他领域的文本纠错，在一定程度上避免了模型的重新设计。

主权项

1.一种基于seq2seq+attention的中文文本纠错方法，其特征在于，包括以下步骤：步骤1，文本预处理：首先基于python读取数据库中的检修记录，提取文档文件中的所有内容，然后利用正则表达式进行中文分句操作，将结果存入文本文件中，每一行对应一个句子，同时将人工标注的正确文本存入另一个文本文件中，和原始文件一一对应；记录下电力通信领域中的专有符号，和常见的汉字表共同组成字符表；步骤2，构建基于attention的seq2seq神经网络模型，具体包括：步骤2.1，构建Encoder模块层，包括Embedding Layer和M层双向LSTM，其中：层一、Embedding Layer的输入为当前字符的one‑hot编码，one‑hot编码可以根据步骤1中形成的字符表得到；Embedding Layer的输出为当前字符的字向量即：et＝ET·xt其中xt是t时刻输入字符的one‑hot编码，是v维列向量，v是步骤1得到的字符表中的字符总数；E是字符向量矩阵，是v×d维矩阵，在具体实现过程中，d取100‑200之间的数字，d代表每一个字符向量的维度，矩阵E是模型的参数，通过训练得到；et是t时刻输入字符的字向量；在具体实现过程中，使用TensorFlow中tf.nn.embedding_lookup函数，得到字符向量；层二、M层双向LSTM中的基本单元是LSTM，第j层t时刻LSTM的隐藏状态计算公式如下：其中，初始化为零向量，函数σ(x)＝1/(1+e^‑x)，函数tanh(x)＝(e^x‑e^‑x)/(e^x+e^‑x)，均是模型参数，通过训练获得，⊙表示对应元素相乘；基于LSTM的计算公式得到：从前往后传播的隐藏状态向量从后往前传播的隐藏状态向量则在第j层t时刻，Bi‑LSTM的输出为在具体实现过程中，可以使用TensorFlow中的函数BasicLSTMCell来实现；步骤2.2，构建Decoder模块层，Decoder模块层是一个M层单向LSTM语言模型结构，每一层初始状态向量均来自Encoder；代表Decoder第M层的输出，经过softmax变换，得到每个字符的概率，计算公式如下：计算损失函数：其中，yt是one‑hot编码，代表t时刻输出的字符，P是输出序列长度；步骤2.3，构建attention模块层：在Encoder模块层中得到最后一层所有时刻的隐藏状态向量Q为输入字符的总数；在Decoder模块中得到第一层t‑1时刻的隐藏状态向量attention向量的计算公式如下：α＝softmax(w)在计算Decoder模块层中t时刻每一层的隐藏状态向量时，加入β；步骤3，采用Adam优化方法进行模型训练：神经网络模型构建成功之后，数据从输入到输出的整个流程，以TensorFlow中计算图的形式存在，直接利用tf.train.AdamOptimizer().minimize()进行迭代训练，找到参数最优值；步骤4，进行纠错任务，具体是：在Decoder阶段，采用beam search进行推断过程，beam size为2，每次挑选两个概率最高的字符，作为下一次预测的输入，遇见终止符时，停止推断，得到输出序列。