[发明专利]一种领域新词的提取方法及系统

说明书

本发明提供一种领域新词的提取方法及系统，包括，采集行业内容数据，并抽取所述行业内容数据中的文本数据，得到专业领域文本数据集；根据预设的领域句法词典对所述专业领域文本数据集进行转化，得到对应的词向量数据集；调取所述词向量数据集中不属于所述预设的领域句法词典的候选词语，若所述候选词语的余弦相似度与所述预设的领域句法词典的余弦相似度大于预设的阈值，则判定所述候选词语为候选新词；通过预设的过滤规则对所述候选新词进行过滤，得到领域新词。本发明通过新词发现并融合多种新词提取的方法可实现特定领域词汇的提取，实现领域新词提取，提高分词准确率，从而提升自然语言处理下游任务的性能。

技术领域

本发明涉及领域新词的提取技术领域，特别是涉及一种领域新词的提取方法及系统。

背景技术

随着技术数据化的发展，从垂直行业UGC(User Generated Content，用户生成内容，即用户原创内容)内容数据、专业文献、行业新闻、企业内参等专业领域中，领域新词和特定业务场景下的口语化表达方式更新的越来越快，然而，快速从海量异构的行业语料中发掘领域新词，扩充领域词库，对于提升词法分析任务的精度，进而提升无结构数据分析的下游任务性能具有关键的作用。所以如何为相关从业人员提供该领域的最新信息，更好地挖掘分析该领域的最新事件动态、发展趋势、社区舆情，为办公室写作抓取精准的素材内容成为目前一大难点。

发明内容

本发明的目的在于，提出一种领域新词的提取方法及系统，实现提升针对行业UGC、专业文献、内容数据的分词准确率，从而提升语义检索、智能推荐等下游任务的精度。

一方面，提供一种领域新词的提取方法，包括：

采集行业内容数据，并抽取所述行业内容数据中的文本数据，得到专业领域文本数据集；

根据预设的领域句法词典对所述专业领域文本数据集进行转化，得到对应的词向量数据集；

调取所述词向量数据集中不属于所述预设的领域句法词典的候选词语，将所述候选词语的余弦相似度与所述预设的领域句法词典比较，若所述候选词语的余弦相似度与所述预设的领域句法词典的余弦相似度大于预设的阈值，则判定所述候选词语为候选新词；

通过预设的过滤规则对所述候选新词进行过滤，得到领域新词。

优选地，获取所述预设的领域句法词典通过以下过程包括：

根据预设的通用领域词典对专业领域文本数据集进行清洗并标注，得到初步序列标注结果；

根据预设的电力专业领域标准词汇对所述初步序列标注结果进行补充标注，得到专业领域词典。

优选地，获取所述预设的领域句法词典通过以下过程还包括：

根据预设的自然语言处理算法逐句对所述专业领域词典进行重新分词和词性标注，统计每个领域词汇的tf-idf值；并根据预设的自然语言处理算法对专业领域文本数据集逐句进行分析，得到具有依存关系的词汇序列及每个词汇序列对应的词性标注序列；

按所述词性标注序列分组统计依存关系词汇序列的数量，当符合特定词性标注序列的依存关系词汇序列数量超过预设阈值时，将所述词性标注序列加入到句法模板列表中，得到领域句法模板；

不重复的抽取所述词汇序列，当所述词汇序列中存在tf-idf值大于判定阈值的词汇且所述词汇序列存在所述专业领域词典中的词汇时，将所述词汇序列加入是领域句法模板，得到预设的领域句法词典。

优选地，所述得到对应的词向量数据集具体包括：

从预设的领域句法词典中抽取的领域句法模板；

根据所述领域句法模板从专业领域文本数据集中抽取符合所述领域句法模板的词汇或词组，并通过所述领域句法模板中的语言模块对抽取的词汇或词组进行训练，得到对应的词向量；