[发明专利]新词挖掘方法、装置计算机设备和存储介质

说明书

本发明涉及一种新词挖掘方法、装置、计算机设备和存储介质，其中方法包括以下步骤：获取待进行新词挖掘的文本信息；按照预先设置的过滤方法对文本信息进行过滤处理，生成多个文本语句；将多个文本语句输入到预先设置的Nagao算法模型中，生成多个候选词语；将每一个候选词语输入到预先训练的分类器中，进行词语分类判别；根据词语分类判别的结果选择符合要求的新词。该新词挖掘方法采用了Nagao算法生成候选词语，并采预先训练的分类器对候选词语进行检测和判别，能去除准确率低的词语，从而提高了新词生成的准确率。

技术领域

本发明涉及信息挖掘技术领域，特别是涉及一种新词挖掘方法、装置、计算机设备和存储介质。

背景技术

新词挖掘，就是从已知的语料中去提取一些词或字，组成新的词汇，从而形成精准的总结文本信息，例如标签化、方便统计、构造索引、特征化长文本等都是通过新词挖掘产生的。新词挖掘算法是在新词挖掘中常用的技术，主要应用于搜索切词词库、知识图谱、文本分类和标签推荐引擎等场景。但是，目前常用的新词挖掘算法存在参数难以确定，从而造成生成的新词准确率低。

发明内容

基于此，有必要针对目前的新词挖掘算法存在参数难以确定，从而造成生成的新词准确率低的问题，提供一种新词挖掘方法、装置、计算机设备以及存储介质。

一种新词挖掘方法，包括以下步骤：

获取待进行新词挖掘的文本信息；

按照预先设置的过滤方法对所述文本信息进行过滤处理，生成多个文本语句；

将多个所述文本语句输入到预先设置的Nagao算法模型中，生成多个候选词语；

将每一个所述候选词语输入到预先训练的分类器中，进行新词分类判别；

根据所述新词分类判别的结果选择符合要求的新词。

在其中一个实施例中，按照预先设置的过滤方法对所述文本信息进行过滤处理，生成多个文本语句的步骤中，包括：

删除所述文本信息中的特殊符号，得到处理后的文本信息；

对处理后的文本信息中的字符进行分析，当某一字符出现的次数大于预设次数时，删除该字符，并对剩余的字符进行归一化处理，得到最终的文本信息；

根据所述最终的文本信息生成多个所述文本语句。

在其中一个实施例中，将多个所述文本语句输入到预先设置的Nagao算法模型中，生成多个候选词语的步骤中，包括：

列举出每一个所述文本语句的后缀，当所述后缀长度大于预设数值时，从所述对应的所述文本语句的后缀中选取预设数据加一个字符，得到正向字符串；

将每一个所述文本语句中的字符进行反转，列举出反转后的每一个所述文本语句的后缀，当分转后的所述后缀长度大于所述预设数值时，从对应的反转后的所述文本语句的后缀中选取预设数据加一个字符，得到反向字符串；

对各所述正向字符串和各所述反向字符串进行排序；

按照排序顺序计算各所述正向字符串的频率和各所述反向字符串的频率；

计算出各所述正向字符串的左右熵值和各所述反向字符串的左右熵值；

计算出各所述正向字符串的内部凝合度和各所述反向字符串的凝合度；

分别计算各所述正向字符串的频率、左右熵值和凝合度的平均值和方差，计算各所述正向字符串的阈值；

分别计算各所述反向字符串的频率、左右熵值和凝合度的平均值和方差，计算各所述反向字符串的阈值；