[发明专利]一种基于LSTM的分词方法

权利要求书

1.一种基于LSTM的分词方法，其步骤包括：

1)将训练语料数据Original转化为字符级的语料数据New_Data；

2)将该语料数据New_Data按照句子长度划分，得到若干句子；然后根据句子长度对得到的句子进行分组，得到包括n组句子的数据集合GroupData；

3)从该数据集合GroupData中抽取若干数据作为迭代数据；

4)将每次的迭代数据转换为固定长度的向量送入深度学习模型LSTM，训练该深度学习模型LSTM的参数，当深度学习模型产生的损失值迭代变化小于设定阈值不再降低或者达到最大迭代次数，则终止深度学习模型的训练，得到训练后的深度学习模型LSTM；

5)将待预测的语料数据转换成转化为字符级的语料数据，并将其送入训练好的深度学习模型LSTM，得到分词结果。

2.如权利要求1所述的方法，其特征在于，该固定长度等于该深度学习模型LSTM中的第一层LSTM层的LSTM单元个数。

3.如权利要求2所述的方法，其特征在于，产生该损失值的方法为：

31)将迭代数据在深度学习模型LSTM的字符向量量化层进行向量化，将迭代数据中的每个字符转换成一向量；

32)将该迭代数据中的每一字符对应的向量分别传入该深度学习模型LSTM中第一LSTM层的一LSTM单元，获得分词中字符的特征，且将第一层LSTM第i个LSTM单元的输出同时作为第一层LSTM第i+1个LSTM单元的输入；然后将该第一层LSTM的输出输入到该深度学习模型LSTM中第二LSTM层，获得分词中词的特征，且将第二层LSTM第i个LSTM单元的输出同时作为第二层LSTM第i+1个LSTM单元的输入；

33)将第二层LSTM每一LSTM单元的输出输入到该深度学习模型LSTM的DropOut层；

35)将每一DropOut层的输出经一分类模型处理后，根据得到的输出利用基于熵的损失函数计算损失值。

4.如权利要求3所述的方法，其特征在于，所述损失值其中，y_i为字符x_i通过深度学习模型LSTM的输出结果，为字符x_i的实际标记结果。

5.如权利要求4所述的方法，其特征在于，所述步骤4)中，当损失值迭代变化|L_i-L_i+1|<ε时终止深度学习模型的训练。

6.如权利要求1所述的方法，其特征在于，所述步骤3)中，每次随机无放回的从该数据集合GroupData中选取一句子分组，从该句子分组中抽取若干句子作为模型单次的迭代数据。

7.如权利要求1所述的方法，其特征在于，所述步骤2)中，将|l_i-l_j|＜δ的句子归入一组；其中，l_i表示第i句话的句子长度、l_j表示第j句话的句子长度，δ表示句子长度间隔。

8.如权利要求1所述的方法，其特征在于，所述步骤1)中，按照BMES的标记方式将原始训练语料数据字符切分标记New_Data；设一词语对应的标签为Label，则位于该词语最开始的字符标记为Label B，位于该词语中间的字符标记为Label M，位于该词语末尾的字符标记为Label E，如果该字符独立构成一个词则标记为Label S。

9.如权利要求1所述的方法，其特征在于，使用Adam梯度下降算法训练该深度学习模型LSTM的参数。