[发明专利]新词挖掘方法、装置计算机设备和存储介质

权利要求书

1.一种新词挖掘方法，其特征在于，

包括以下步骤：

获取待进行新词挖掘的文本信息；

按照预先设置的过滤方法对所述文本信息进行过滤处理，生成多个文本语句；

将多个所述文本语句输入到预先设置的Nagao算法模型中，生成多个候选词语；

将每一个所述候选词语输入到预先训练的分类器中，进行词语分类判别；

根据所述词语分类判别的结果选择符合要求的新词；

其中，所述将多个所述文本语句输入到预先设置的Nagao算法模型中，生成多个候选词语具体包括：

列举出每一个所述文本语句的后缀，当所述后缀长度大于预设数值时，从对应的所述文本语句的后缀中选取预设数据加一个字符，得到正向字符串；

将每一个所述文本语句中的字符进行反转，列举出反转后的每一个所述文本语句的后缀，当分转后的所述后缀长度大于所述预设数值时，从对应的反转后的所述文本语句的后缀中选取预设数据加一个字符，得到反向字符串；

对各所述正向字符串和各所述反向字符串进行排序；

按照排序顺序计算各所述正向字符串的频率和各所述反向字符串的频率；

计算出各所述正向字符串的左右熵值和各所述反向字符串的左右熵值；

计算出各所述正向字符串的内部凝合度和各所述反向字符串的凝合度；

分别计算各所述正向字符串的频率、左右熵值和凝合度的平均值和方差，计算各所述正向字符串的阈值；

分别计算各所述反向字符串的频率、左右熵值和凝合度的平均值和方差，计算各所述反向字符串的阈值；

分别将各所述正向字符串的阈值和各所述反向字符串的阈值与预设的阈值进行比较，选择阈值小于预设的阈值的正向字符串和反向字符串生成多个候选词语。

2.根据权利要求1所述的新词挖掘方法，其特征在于，

按照预先设置的过滤方法对所述文本信息进行过滤处理，生成多个文本语句的步骤中，包括：

删除所述文本信息中的特殊符号，得到处理后的文本信息；

对处理后的文本信息中的字符进行分析，当某一字符出现的次数大于预设次数时，删除该字符，并对剩余的字符进行归一化处理，得到最终的文本信息；

根据所述最终的文本信息生成多个所述文本语句。

3.根据权利要求1-2任一项所述的新词挖掘方法，其特征在于，

将每一个所述候选词语输入到预先训练的分类器中的步骤之前，还包括：

根据多个所述候选词语和公共词库中的词语选择训练数据；

采用预先配置的算法对所述训练数据进行学习训练，得到预先训练的分类器。

4.根据权利要求3所述的新词挖掘方法，其特征在于，

根据多个所述候选词语和公共词库中的词语选择训练数据的步骤之前，还包括：

从所述公共词库中获取词语；

将公共词库中的词语的进行标记，记为正样本；

对每一个所述候选词语进行分析标记，筛选出正样本和负样本；

将所有正样本组成正样本集，所有负样本组成负样本集。

5.根据权利要求4所述的新词挖掘方法，其特征在于，

根据多个所述候选词语和公共词库中的词语选择训练数据的步骤中，还包括：

从所述正样本集和所述负样本集选择相等数量的词语，得到所述训练数据。

6.根据权利要求5所述的新词挖掘方法，其特征在于，

所述预先配置的算法包括神经网络算法或逻辑回归算法。

7.一种采用权利要求1所述的新词挖掘方法的新词挖掘装置，其特征在于，包括：

文本信息获取模块，用于获取待进行新词挖掘的文本信息；

文本语句生成模块，用于按照预先设置的过滤方法对所述文本信息进行过滤处理，生成多个文本语句；

候选词语生成模块，用于将多个所述文本语句输入到预先设置的Nagao算法模型中，生成多个候选词语；

新词分类判别确定模块，用于将每一个所述候选词语输入到预先训练的分类器中，进行新词分类判别；

新词确定模块，用于根据所述新词分类判别的结果选择符合要求的新词。