[发明专利]异常数据检测方法和装置

权利要求书

1.一种异常数据检测方法，其特征在于，包括：

获取文本；

从所述文本中提取多条数据，其中，所述多条数据中的每一条数据均由多个属性值构成，每个属性值对应该数据的一个属性，所述每一条数据的属性均相同；

对所述每一条数据的属性值进行汇合得到所述每一条数据的新属性值，其中，所述每一条数据的新属性值的个数小于汇合之前的所述每一条数据的属性值的个数；

使用所述每一条数据的新属性值进行机器学习得到数据模型，其中，所述数据模型用于区分从文本中提取的数据是否为异常数据；

其中，对所述每一条数据的属性值进行汇合得到所述每一条数据的新属性值包括：

对所述每一条数据的属性值通过主成分分析进行汇合得到所述每一条数据的新属性值。

2.根据权利要求1所述的方法，其特征在于，获取所述文本包括：

获取所述文本中用自然语言表达的数据。

3.根据权利要求2所述的方法，其特征在于，从所述文本中提取多条数据包括：

将所述文本数据转化为用于机器学习的多条数据。

4.根据权利要求3所述的方法，其特征在于，将所述文本数据转化为用于机器学习的多条数据包括：

对所述文本数据进行正规化处理，其中，所述正规化处理为去除所述文本数据中的特殊字符和/或将所述文本数据中的大写字母变为小写字母和/或提取所述文本数据中的所述多个属性值。

5.根据权利要求3所述的方法，其特征在于，提取所述文本数据中的所述多个属性值包括：

通过分词分析从所述用于机器学习的多条数据中提取多个属性值，或者，

通过词频分析从所述用于机器学习的多条数据中提取多个属性值。

6.根据权利要求1至5任意一项所述的方法，其特征在于，对所述每一条数据的属性值进行汇合得到所述每一条数据的新属性值包括：

将所述每一条数据的属性值直接合并得到所述每一条数据的新属性值。

7.一种异常数据检测装置，其特征在于，包括：

获取单元，用于获取文本；

提取单元，用于从所述文本中提取多条数据，其中，所述多条数据中的每一条数据均由多个属性值构成，每个属性值对应该数据的一个属性，所述每一条数据的属性均相同；

汇合单元，用于对所述每一条数据的属性值进行汇合得到所述每一条数据的新属性值，其中，所述每一条数据的新属性值的个数小于汇合之前的所述每一条数据的属性值的个数；

学习单元，用于使用所述每一条数据的新属性值进行机器学习得到数据模型，其中，所述数据模型用于区分从文本中提取的数据是否为异常数据；

其中，所述汇合单元包括：

分析模块，用于对所述每一条数据的属性值通过主成分分析进行汇合得到所述每一条数据的新属性值。

8.根据权利要求7所述的装置，其特征在于，所述获取单元包括：

第一获取模块，用于获取所述文本中用自然语言表达的数据。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1-5任意一项所述的方法。