[发明专利]一种安全领域命名实体识别方法及神经网络模型

权利要求书

1.一种安全领域命名实体识别方法，其步骤包括：

1)将安全报告中的非结构化文本按照句子分隔开；

2)基于步骤1)的处理结果，统计所述安全报告中出现过的单词和标点符号，将所出现的互不相同的单词和标点符号统一称为词汇，使用所述词汇构建一词汇表；

3)根据该词汇表构建词嵌入向量矩阵；其中，该词嵌入向量矩阵为m行n列的矩阵，m是词汇表中词汇的个数，n是词嵌入向量的维度；

4)对步骤1)获得的每一句子，将该句子中的词汇使用对应的词嵌入向量表示；然后利用双向LSTM层对该句子进行训练；

5)将词嵌入向量及其双向LSTM输出进行拼接，作为条件随机场的输入；然后使用条件随机场，学习拼接结果对应的单词与各设定标签之间的依赖关系，以及前一个标签和当前标签之间的依赖关系；

6)输出具有最大概率的标签序列作为当前句子的标注，标注中包含当前句子中每个单词对应的标签；然后根据单词的标签，输出该句子中包含的命名实体。

2.如权利要求1所述的方法，其特征在于，得到词汇的词嵌入向量的方法为：根据所述词汇表构建每个词汇对应的one-hot编码形式，对任意一个词汇，其对应的one-hot编码形式是一个1行m列的矩阵，通过矩阵相乘，得到该词汇对应的词嵌入向量。

3.如权利要求2所述的方法，其特征在于，将词汇的one-hot编码对应的矩阵W_o与一设定的参数矩阵θ相乘，即W_e＝W_o*θ，得到该词汇的词嵌入向量W_e。

4.如权利要求1所述的方法，其特征在于，该词汇表中记录每一个词汇及其在所述安全报告中的位置，将词汇的位置作为该词汇的索引值。

5.如权利要求1所述的方法，其特征在于，使用随机浮点值初始化所述词嵌入向量矩阵，将该词嵌入向量矩阵中每一个元素的值初始化为一个随机的浮点数。

6.一个基于LSTM和CRF的神经网络模型，其特征在于，包括双向LSTM和CRF层；其中，

双向LSTM，用于对输入的句子进行训练并将前向LSTM输出、后向LSTM输出分别输入CRF层；其中，句子中的词汇使用该词汇对应的词嵌入向量表示；

CRF层，用于将词汇对应的词嵌入向量及其双向LSTM输出进行拼接，将拼接结果作为CRF层的输入，然后使用条件随机场，学习拼接结果对应的单词与各设定标签之间的依赖关系，以及前一个标签和当前标签之间的依赖关系；然后输出具有最大概率的标签序列作为当前句子的标注，标注中包含当前句子中每个单词对应的标签；然后根据单词的标签，输出该句子中包含的命名实体。

7.如权利要求6所述的神经网络模型，其特征在于，还包括一词嵌入向量生成模块，用于根据词汇表构建该句子中每个词汇对应的one-hot编码形式，对任意一个词汇，其对应的one-hot编码形式是一个1行m列的矩阵，将词汇的one-hot编码对应的矩阵W_o与一设定的参数矩阵θ相乘，即W_e＝W_o*θ，得到该词汇的词嵌入向量W_e。

8.如权利要求7所述的神经网络模型，其特征在于，所述词嵌入向量生成模块将安全报告中的非结构化文本按照句子分隔开；然后统计所述安全报告中出现过的单词和标点符号，将所出现的互不相同的单词和标点符号统一称为词汇，使用所述词汇构建所述词汇表。

9.如权利要求8所述的神经网络模型，其特征在于，该词汇表中记录每一个词汇及其在所述安全报告中的位置，将词汇的位置作为该词汇的索引值。

10.如权利要求7所述的神经网络模型，其特征在于，所述词嵌入向量生成模块使用随机浮点值初始化所述词嵌入向量矩阵，将该词嵌入向量矩阵中每一个元素的值初始化为一个随机的浮点数。