[发明专利]互联网交易信息的数据清洗算法

权利要求书

1.一种互联网交易信息的数据清洗算法，其特征在于，包括：

将待清洗的互联网交易信息数据进行数据质量问题检测获得干净元组、正确元组和问题元组；

对所述干净元组：直接送入干净数据库；

对所述正确元组：生成需要向专家知识库检索关键语句，根据所述关键语句在所述专家知识库中进行查询获得专家知识库模式，所述专家知识库模式包括文本依赖关系语句，对所述专家知识库模式进行数据清洗后送入所述干净数据库；

对所述问题元组：进行可行元组的判断获得适合基于专家知识库模式清洗的可行元组和不适合基于专家知识库模式清洗的不可行元组，

对所述可行元组生成向所述专家知识库检索关键语句后从该专家知识库中查询获得专家知识库模式，再经过数据清洗后送入所述干净数据库，

对所述不可行元组进行其他策略数据清洗后送入所述干净数据库。

2.根据权利要求1所述的一种互联网交易信息的数据清洗算法，其特征在于，所述专家知识库采用BP神经网络算法实现自学习，所述BP神经网络算法具体为：

一个m层的神经网络，对于给定的互联网交易信息样本集X_i(i＝1,2，…,n)，设第k层的i个神经元的输入总和表示为输出总和为从第k-1层的第j个神经元到第k层的第i个神经元的权系数为W_ij，各个神经元的激发函数为f(·)，则各个变量的关系可表示为：

式中，输入层节点数为n，隐藏层节点数为h，输出层节点数为o，分别确定输入层与隐藏层、隐藏层与输出层间的链接权值矩阵为W_h、W_o以及阀值b_h、b_o。

3.根据权利要求2所述的一种互联网交易信息的数据清洗算法，其特征在于，期望输出和实际输出之差的平方和为所述专家知识库的误差函数，所述专家知识库的误差函数为：

Y_i是输出单元的期望值，第m层是输出层，是实际输出；BP算法采用非线性规划中的最速下降方法，按误差函数e的负梯度方向修改权系数。

4.根据权利要求2所述的一种互联网交易信息的数据清洗算法，其特征在于，一个互联网交易信息样本中所有向量之间的差异采用机器学习中的马氏距离衡量；对于l个向量X₁～X_l，确立最合理向量X_k作为BP神经网络标准输出展开样本训练；一个所述样本中包含的向量的协方差矩阵记为S，向量X_i与X_j之间的马氏距离为：

所述协方差矩阵S中每个元素是各个矢量元素之间的协方差Cov(X,Y)，其中E为一个所述样本中包含的向量的数学期望。

5.根据权利要求1所述的一种互联网交易信息的数据清洗算法，其特征在于，所述问题元组包括丢失值，和/或错误值，和/或冲突值；

所述丢失值为数据属性存在空缺的值；对于丢失值的检测方法是：对于待清洗的互联网交易信息数据D(T₁,T₂,...,T_n)中的每个元组T(A₁,A₂,...,A_m)的属性A进行检测，若存在缺失的属性值则为包含丢失至的问题元组；

所述错误值为数据存在的属性被认定为是错误的值；对于错误值的检测方法是：对于待清洗的互联网交易信息数据D(T₁,T₂,...,T_n)中的每个元组T(A₁,A₂,...,A_m)进行基于条件依赖函数的条件依赖检测，若该数据的属性不满足所述条件依赖函数则该元组为包含错误值的问题元组；

所述冲突值为一个数据的属性值出现多个对应值；对于冲突值的检测方法是：首先对于待清洗的互联网交易信息数据进行元组匹配找出可能冲突的元组，然后对所述可能冲突的元组进行聚类得到包含冲突值的问题元组。