[发明专利]文本内容异常检测方法、装置以及存储介质

说明书

本公开提供了一种文本内容异常检测方法、装置以及存储介质，涉及计算机技术领域，其中的方法包括：使用相似度概率模型获取词语之间的相似度概率值，生成词语相似度概率信息；获取与采集的每条文本相对应的特征词，并计算特征词的TF‑IDF值；根据词语相似度概率信息获取两个特征向量的特征词之间的特征词相似度概率值，并基于特征词相似度概率值以及TF‑IDF值计算两个特征向量之间的距离；使用聚类算法并根据距离对多个特征向量进行聚类处理，基于聚类处理结果确定出现异常的文本。本公开的方法、装置以及存储介质，在异常检测中不仅考虑了空间距离或密度上的差异，还结合了词语之间的语义相关性，能够提升异常检测的准确性。

技术领域

本公开涉及计算机技术领域，尤其涉及一种文本内容异常检测方法、装置以及存储介质。

背景技术

随着移动互联网的发展，上网已经成为人们日常生活的一部分。对于网络服务和监管部门，如何发现上网用户的异常行为，预防网络犯罪，是一个需要解决的问题。异常检测技术是为了发现数据集中显著不同于其它数据的对象,广泛应用在客户分类、网络入侵检测、欺诈检测等领域。常用的异常检测方法一般分为基于统计的方法、基于距离的方法等。但是，现有的异常检测技术在对于文本进行异常检测，检测的准确性较低。

发明内容

有鉴于此，本发明要解决的一个技术问题是提供一种文本内容异常检测方法、装置以及存储介质。

根据本公开的第一方面，提供一种文本内容异常检测方法，包括：使用相似度概率模型获取词语之间的相似度概率值，生成词语相似度概率信息；获取与采集的每条文本相对应的特征词，并计算所述特征词的TF-IDF值；基于所述TF-IDF值建立与每条文本相对应的特征向量；根据所述词语相似度概率信息获取两个特征向量的特征词之间的特征词相似度概率值，并基于所述特征词相似度概率值以及所述TF-IDF值计算所述两个特征向量之间的距离；使用聚类算法并根据所述距离对多个特征向量进行聚类处理，基于聚类处理结果确定出现异常的文本。

可选地，所述聚类算法包括：DBSCAN聚类算法；所述使用聚类算法并根据所述距离对多个特征向量进行聚类处理，基于聚类处理结果确定出现异常的文本包括：使用所述DBSCAN聚类算法并根据所述距离对多个特征向量进行聚类分析，得到至少一个簇和噪声点集合；获取所述噪声点集合中的特征向量，将此特征向量对应的文本确定为出现异常的文本。

可选地，所述距离为：

其中，x_i为第一特征向量中的第i个特征词的TF-IDF值，y_j为第二特征向量中的第i个特征词的TF-IDF值，p_ij为第一特征向量中的第i个特征词和第二特征向量中的第j个特征词之间的特征词相似度概率值，n为第一特征向量和第二特征向量的维数。

可选地，所述相似度概率模型包括：word2vec模型；所述使用相似度概率模型获取词语之间的相似度概率值，生成词语相似度概率信息包括：构建word2vec模型，使用文本数据集对所述word2vec模型进行训练；通过word2vec模型生成两个词语之间的相似度概率值，生成所述词语相似度概率信息；其中，所述词语相似度概率信息包括：词语对和所述相似度概率。

可选地，所述根据所述词语相似度概率信息获取两个特征向量的特征词之间的特征词相似度概率值包括：根据属于第一特征向量的特征词与属于第二特征向量的特征词建立特征词对；将所述特征词对与所述词语相似度概率信息的词语对进行匹配，获取与匹配成功的词语对相对应的相似度概率作为所述特征词相似度概率值。

可选地，所述获取与采集的每条文本相对应的特征词包括：对每条文本进行分词处理并进行去停用词处理，获取所述特征词。