[发明专利]一种基于CRF识别中标单位的LSTM模型单元训练方法及装置

权利要求书

1.一种基于CRF识别中标单位的LSTM模型单元训练方法，应用于计算机，其特征在于，所述方法包括：

S1：获取标注有中标单位的字符表单；

S2：根据所述标注有中标单位的字符表单生成字符向量训练素材；

S3：初始化LSTM模型单元；

S4：将所述字符向量训练素材按正序排列输入到当前LSTM模型单元中进行训练，得到每一个字符的前向运行预测值；

S5：根据得到的每个字符的前向运行预测值，计算每个字符的前向运行预测值与该字符的实际类别之间的差距；

S6：判断所述差距是否持续震荡下降，若是，则执行S7，若否，则结束，得到目标LSTM模型单元；

S7：通过链式法则，得到当前LSTM模型单元中每个参数应该变化的数值大小；

S8：通过梯度下降优化算法，得到当前LSTM模型中每个参数的变化方向和变化值，进而修正LSTM模型中每个参数。

2.根据权利要求1所述的方法，其特征在于，所述S2包括：使用Embedding层，对字符进行向量化，使每一个字符对应于一个300维的向量。

3.根据权利要求1所述的方法，其特征在于，所述S4包括：

S41：将字符向量训练素材中的每一个向量，按照从前到后的顺序，依次通过当前LSTM模型单元进行运算，得到对应数量个输出量，所述输出量也为与字符向量训练素材中的每一个向量相同维数的向量。

S42：将得到的所有所述输出量输入条件随机场进行运算，得到每一个字符的预测值，记为该字符的前向运算预测值。

4.根据权利要求3所述的方法，其特征在于，所述S42包括：

使用CRF算法里面的最大似然估计法求解损失函数。

5.根据权利要求1所述的方法，其特征在于，所述S5中，所述前向运行预测值是一个4维向量，记为前向运行4维预测向量，字符对应的标签类型值，也表示为一个4维向量，记为标签类型4维向量，则所述差距指的是每个字符的前向运行4维预测向量与该字符实际对应的标签类型4维向量之间的差异化程度。

6.根据权利要求5所述的方法，其特征在于，

每个字符的前向运行4维预测向量与该字符实际对应的标签类型4维向量之间的差异化程度用损失函数值进行表示，记一个字符的前向运行4维预测向量与该字符实际对应的标签类型4维向量之间的损失函数值为cost(h_θ(x),y)，则cost(h_θ(x),y)计算方法为：

cost(h_θ(x),y)＝-y_ilog(h_θ(x))-(1-y_i)log(1-h_θ(x))，

其中，h_θ(x)为每个字符的前向运行4维预测向量，y_i为对应字符的标签类型4维向量。

7.根据权利要求6所述的方法，其特征在于，S6中，所述判断所述差距是否持续震荡下降，包括：判断所述批量样本的损失函数是否持续震荡下降。