[发明专利]一种领域新词的提取方法及系统

权利要求书

1.一种领域新词的提取方法，其特征在于，包括：

采集行业内容数据，并抽取所述行业内容数据中的文本数据，得到专业领域文本数据集；

根据预设的领域句法词典对所述专业领域文本数据集进行转化，得到对应的词向量数据集；

调取所述词向量数据集中不属于所述预设的领域句法词典的候选词语，将所述候选词语的余弦相似度与所述预设的领域句法词典比较，若所述候选词语的余弦相似度与所述预设的领域句法词典的余弦相似度大于预设的阈值，则判定所述候选词语为候选新词；

通过预设的过滤规则对所述候选新词进行过滤，得到领域新词。

2.如权利要求1所述的方法，其特征在于，获取所述预设的领域句法词典通过以下过程包括：

根据预设的通用领域词典对专业领域文本数据集进行清洗并标注，得到初步序列标注结果；

根据预设的电力专业领域标准词汇对所述初步序列标注结果进行补充标注，得到专业领域词典。

3.如权利要求2所述的方法，其特征在于，获取所述预设的领域句法词典通过以下过程还包括：

根据预设的自然语言处理算法逐句对所述专业领域词典进行重新分词和词性标注，统计每个领域词汇的tf-idf值；并根据预设的自然语言处理算法对专业领域文本数据集逐句进行分析，得到具有依存关系的词汇序列及每个词汇序列对应的词性标注序列；

按所述词性标注序列分组统计依存关系词汇序列的数量，当符合特定词性标注序列的依存关系词汇序列数量超过预设阈值时，将所述词性标注序列加入到句法模板列表中，得到领域句法模板；

不重复的抽取所述词汇序列，当所述词汇序列中存在tf-idf值大于判定阈值的词汇且所述词汇序列存在所述专业领域词典中的词汇时，将所述词汇序列加入是领域句法模板，得到预设的领域句法词典。

4.如权利要求3所述的方法，其特征在于，所述得到对应的词向量数据集具体包括：

从预设的领域句法词典中抽取的领域句法模板；

根据所述领域句法模板从专业领域文本数据集中抽取符合所述领域句法模板的词汇或词组，并通过所述领域句法模板中的语言模块对抽取的词汇或词组进行训练，得到对应的词向量；

将所有对应的词向量组成对应的词向量数据集。

5.如权利要求1所述的方法，其特征在于，所述预设的过滤规则具体包括：

频次过滤，用以统计所述词向量数据集中候选新词的出现频次，并过滤出现频次小于预设出现频次阈值的候选新词；

最长子串过滤，用以抽取候选新词时，将按照预设长度的抽取候选新词的并将某个候选新词标定为关联的候选新词的子串，若最长长度的子串出现频率等于所述关联的候选新词，则将该候选新词过滤掉；

常见词过滤，用以过滤掉出现在预设的通用领域词典中的候选新词；

构词规则过滤，用以过滤无法通过词性标注抽取构词词性序列的候选新词。

6.一种领域新词的提取系统，用以实现如权利要求1-5任一项所述的方法，其特征在于，包括：

数据采集模块，用以采集行业内容数据，并抽取所述行业内容数据中的文本数据，得到专业领域文本数据集；

词向量模块，用以根据预设的领域句法词典对所述专业领域文本数据集进行转化，得到对应的词向量数据集；

新词筛选模块，用以调取所述词向量数据集中不属于所述预设的领域句法词典的候选词语，将所述候选词语的余弦相似度与所述预设的领域句法词典比较，若所述候选词语的余弦相似度与所述预设的领域句法词典的余弦相似度大于预设的阈值，则判定所述候选词语为候选新词；并通过预设的过滤规则对所述候选新词进行过滤，得到领域新词。

7.如权利要求6所述的系统，其特征在于，所述词向量模块还用于根据预设的通用领域词典对专业领域文本数据集进行清洗并标注，得到初步序列标注结果；

根据预设的电力专业领域标准词汇对所述初步序列标注结果进行补充标注，得到专业领域词典。