[发明专利]异常数据检测方法和装置

说明书

本发明公开了一种异常数据检测方法和装置。其中，该方法包括：获取文本；从所述文本中提取多条数据，其中，所述多条数据中的每一条数据均由多个属性值构成，每个属性值对应该数据的一个属性，所述每一条数据的属性均相同；对所述每一条数据的属性值进行汇合得到所述每一条数据的新属性值，其中，所述每一条数据的新属性值的个数小于汇合之前的所述每一条数据的属性值的个数；使用所述每一条数据的新属性值进行机器学习得到数据模型，其中，所述数据模型用于区分从文本中提取的数据是否为异常数据。通过本发明解决了现有技术中所存在的用于培训的数据维度大导致的问题，提高培训效率的同时提高了培训结果的准确度。

技术领域

本发明涉及数据检测技术领域，具体而言，涉及异常数据检测方法和装置。

背景技术

现有技术中在没有领域或领域知识有限的情况下从近自然语言文本中检测异常通常有所限制，例如，对于机器日志，实现当机器日志中出现异常时，可以利用机器学习得到的模型，从而检测到机器日志中的异常；对于机器学习，如果用于机器学习培训的数据维度过大，则会带来如下不良效果：

1)计算量显著上升，计算成本增加，机器学习的培训效率下降；

2)培训结果易于过度拟合，即培训结果更接近原来培训数据集的特征，而不是目标数据集的特征。

3)现有技术中通过简单的削减数据维度，此种方法虽然可以带来计算量的下降，但是该方法有时会去除对培训目标具有代表性的维度，会使培训结果的精度或可靠度下降。

针对现有技术中所存在的用于培训的数据维度大导致的问题，目前尚未提出有效的解决方案。

发明内容

本发明提供了一种异常数据检测方法和装置，以解决现有技术中所存在的用于培训的数据维度大导致的问题。

根据本发明实施例的一个方面，提供了一种异常数据检测方法，包括：获取文本；从所述文本中提取多条数据，其中，所述多条数据中的每一条数据均由多个属性值构成，每个属性值对应该数据的一个属性，所述每一条数据的属性均相同；对所述每一条数据的属性值进行汇合得到所述每一条数据的新属性值，其中，所述每一条数据的新属性值的个数小于汇合之前的所述每一条数据的属性值的个数；使用所述每一条数据的新属性值进行机器学习得到数据模型，其中，所述数据模型用于区分从文本中提取的数据是否为异常数据。

进一步地，获取所述文本包括：获取所述文本中用自然语言表达的数据。

进一步地，从所述文本中提取多条数据包括：将所述文本数据转化为用于机器学习的多条数据。

进一步地，将所述文本数据转化为用于机器学习的多条数据包括：对所述文本数据进行正规化处理，其中，所述正规化处理为去除所述文本数据中的特殊字符和/或将所述文本数据中的大写字母变为小写字母和/或提取所述文本数据中的所述多个属性值。

进一步地，提取所述文本数据中的所述多个属性值包括：通过分词分析从所述用于机器学习的多条数据中提取多个属性值或通过词频分析从所述用于机器学习的多条数据中提取多个属性值。

进一步地，对所述每一条数据的属性值进行汇合得到所述每一条数据的新属性值包括：对所述每一条数据的属性值通过主成分分析进行汇合得到所述每一条数据的新属性值。

进一步地，对所述每一条数据的属性值进行汇合得到所述每一条数据的新属性值包括：将所述每一条数据的属性值直接合并得到所述每一条数据的新属性值。

进一步地，对所述每一条数据的属性值进行汇合得到所述每一条数据的新属性值之后包括：获取所述每一条数据的新属性值的优先级；根据每一个新属性值的优先级从所述所有新属性值中筛选出所述一个或多个新属性值；根据筛选出的所述一个或多个新属性值进行机器学习得到数据模型。