[发明专利]文本内容异常检测方法、装置以及存储介质

权利要求书

1.一种文本内容异常检测方法，包括：

使用相似度概率模型获取词语之间的相似度概率值，生成词语相似度概率信息；

获取与采集的每条文本相对应的特征词，并计算所述特征词的TF-IDF值；

基于所述TF-IDF值建立与每条文本相对应的特征向量；

根据所述词语相似度概率信息获取两个特征向量的特征词之间的特征词相似度概率值，并基于所述特征词相似度概率值以及所述TF-IDF值计算所述两个特征向量之间的距离；

使用聚类算法并根据所述距离对多个特征向量进行聚类处理，基于聚类处理结果确定出现异常的文本。

2.如权利要求1所述的方法，所述聚类算法包括：DBSCAN聚类算法；所述使用聚类算法并根据所述距离对多个特征向量进行聚类处理，基于聚类处理结果确定出现异常的文本包括：

使用所述DBSCAN聚类算法并根据所述距离对多个特征向量进行聚类分析，得到至少一个簇和噪声点集合；

获取所述噪声点集合中的特征向量，将此特征向量对应的文本确定为出现异常的文本。

3.如权利要求2所述的方法，其中，

所述距离为：

其中，x_i为第一特征向量中的第i个特征词的TF-IDF值，y_j为第二特征向量中的第i个特征词的TF-IDF值，p_ij为第一特征向量中的第i个特征词和第二特征向量中的第j个特征词之间的特征词相似度概率值，n为第一特征向量和第二特征向量的维数。

4.如权利要求1所述的方法，所述相似度概率模型包括：word2vec模型；所述使用相似度概率模型获取词语之间的相似度概率值，生成词语相似度概率信息包括：

构建word2vec模型，使用文本数据集对所述word2vec模型进行训练；

通过word2vec模型生成两个词语之间的相似度概率值，生成所述词语相似度概率信息；

其中，所述词语相似度概率信息包括：词语对和所述相似度概率。

5.如权利要求4所述的方法，所述根据所述词语相似度概率信息获取两个特征向量的特征词之间的特征词相似度概率值包括：

根据属于第一特征向量的特征词与属于第二特征向量的特征词建立关键词对；

将所述关键词对与所述词语相似度概率信息的词语对进行匹配，获取与匹配成功的词语对相对应的相似度概率作为所述特征词相似度概率值。

6.如权利要求1所述的方法，所述获取与采集的每条文本相对应的特征词包括：

对每条文本进行分词处理并进行去停用词处理，获取所述特征词。

7.如权利要求6所述的方法，所述基于所述TF-IDF值建立与每条文本相对应的特征向量包括：

将全部文本的特征词进行去重处理，获取n个特征词；

生成与每条文本相对应的特征向量；其中，所述特征向量的维数为n，第i个所述特征向量中的元素a_ij表示第j个词在第i条样本中的TF-IDF值。

8.如权利要求1所述的方法，还包括：

如果判断所述特征词是敏感词，则调整此特征词的TF-IDF值。

9.如权利要求1所述的方法，还包括：

如果确定出现异常的文本，则基于此文本进行告警处理。

10.如权利要求1-9任一项所述的方法，其中，

所述文本包括：与用户行为相对应的日志文本。