[发明专利]基于词向量的警情文本关键词提取方法、系统、介质及设备

权利要求书

1.一种基于词向量的警情文本关键词提取方法，其特征在于，包括：

步骤S1：将文档拆分成句子得到集合D＝[S1,S2,....Sn]；其中，S1，S2，...Sn表示文档中的每个句子；

步骤S2：对每个句子S＝[W1,W2，...，Wm]进行分词，并进行预处理；设定窗口大小为k，构造[W1,W2，...,Wk]，[W2,W3，...,Wk+1]，[W3,W4...,Wk+2]...；

步骤S3：基于文档集合D＝[S1,S2,....Sn]分别进行分词后构造的窗口集合依次进行Ernie处理和TF-IDF处理，得到融合语义特征和词频特征的窗口向量集合V＝[V1,V2,....Vn]；

步骤S4：计算词频特征的窗口向量集合V中两两词频特征的窗口向量的相似度，组合成以V为顶点，相似度值为边的有向图G；

步骤S5：基于有向图G使用TextRank对文档中的关键字进行评分，选择评分大于预设值的关键字组合为关键字集合；

所述Ernie处理是基于字特征输入建模捕获中文语义特征。

2.根据权利要求1所述的基于词向量的警情文本关键词提取方法，其特征在于，所述步骤S2采用：对每个句子进行分词并标记每个单词的词性信息，保留名词和动词，去除包括停用词以及过滤词。

3.根据权利要求1所述的基于词向量的警情文本关键词提取方法，其特征在于，所述步骤S3采用：

步骤S3.1：建立Ernie模型；

步骤S3.2：将文档集合D＝[S1,S2,....Sn]分别进行分词后构造的窗口集合依次通过Ernie模型处理和TF-IDF处理得到融合语义特征和词频特征的窗口向量集合V＝[V1,V2,....Vn]；

所述Ernie模型是对先验语义知识单元进行建模，通过对词、实体语义单元的掩码，使得Ernie模型学习完整概念的语义表示，增强了模型语义表示能力。

4.根据权利要求1所述的基于词向量的警情文本关键词提取方法，其特征在于，所述步骤S4采用：

其中，d表示基尼系数；Vi表示第i个节点；P(Vi)表示第i个节点的权重；Wij为Vi和Vj的计算相似度；In(Vi)为Vi的入度集合，Out(Vj)为Vj的出度集合；Wjk表示Vj和Vk之间的相似度。

5.一种基于词向量的警情文本关键词提取系统，其特征在于，包括：

模块M1：将文档拆分成句子得到集合D＝[S1,S2,....Sn]；其中，S1，S2，...Sn表示文档中的每个句子；

模块M2：对每个句子S＝[W1,W2，...，Wm]进行分词，并进行预处理；设定窗口大小为k，构造[W1,W2，...,Wk]，[W2,W3，...,Wk+1]，[W3,W4...,Wk+2]...；

模块M3：基于文档集合D＝[S1,S2,....Sn]分别进行分词后构造的窗口集合依次进行Ernie处理和TF-IDF处理，得到融合语义特征和词频特征的窗口向量集合V＝[V1,V2,....Vn]；

模块M4：计算词频特征的窗口向量集合V中两两词频特征的窗口向量的相似度，组合成以V为顶点，相似度值为边的有向图G；

模块M5：基于有向图G使用TextRank对文档中的关键字进行评分，选择评分大于预设值的关键字组合为关键字集合；

所述Ernie处理是基于字特征输入建模捕获中文语义特征。

6.根据权利要求5所述的基于词向量的警情文本关键词提取系统，其特征在于，所述模块M2采用：对每个句子进行分词并标记每个单词的词性信息，保留名词和动词，去除包括停用词以及过滤词。