[发明专利]互联网交易信息的数据清洗算法

说明书

技术领域

本发明涉及计算机应用领域，具体地，涉及一种互联网交易信息的数据清洗算法。

背景技术

近年来我国互联网交易持续保持高速发展，近5年来平均增速达到80％。2013年电子商务总交易额超过10万亿元人民币，网络零售市场规模已经超过美国成为世界最大的网络零售市场。随着电子商务的发展，也出现了一些市场自身难以解决的问题，包括产品虚假宣传、假货泛滥、网络诈骗及钓鱼网站很行、物流配送服务不规范、退货难及逆向物流不畅通以及网民个人信息泄露等问题。主要是由于不同的电商平台的信用评价体系的规范各不相同；同时电商信息系统中的数据越来越多，甚至达到了TB、PB以上的海量数据级别导致海量数据聚集之后由于内容过时、输入错误、重复输入、属性值冲突等严重影响着数据质量，进而导致无法保证系统中数据的质量能满足监管系统的需求。

为了克服由于数据质量而引发的问题，采取数据处理的技术是非常必要的。目前很多通过处理数据来获得更高质量的数据的方法已经被提出，在这些技术当中，数据清洗技术至关重要。

针对数据清洗的处理方法主要包括以下几种：

1.通过关系数据中键与键之间的函数依赖进行数据清洗是比较直接的方法，但是对于和互联网那个交易信息这种海量数据的规则挖掘并不充分。

2.基于条件函数依赖的数据方法采用函数依赖作为基础并且增加了语义上的约束条件，这样可以有效的清洗存在函数依赖的关系的数据元组，但是互联网交易信息来自不同的电商平台，很多数据的函数依赖并不明确，同时一些数据在进行清洗之前是无法获得函数关系的。

3.采用人为参与的数据清洗，即在数据清洗的过程中，若系统遭遇无法处理的情况时，需通过人的反馈操作进行下一步的清洗步骤。这种方法的优点是由于人的参与准确性会大大提高，但处理的时间消耗比较大；同时不同的人对于依赖关系的规则判断标准并不能保证完全一致，主观依赖性过强。

4.采用机器学习的反馈方式，即用机器学习的方法替代人的反馈过程，在清洗过程之前先让机器学习正确的清洗操作，然后在清洗过程中不断积累学习，这样可以提成算法的时间效率，但是精确度有所下降，并且学习过程会增加系统的额外开销，同时清洗过程中对数据之间的依赖关系要求依然比较高。

综上所述，当前的数据清洗方法对于互联网交易信息的处理的需求存在着一定的局限性。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种互联网交易信息的数据清洗算法。

根据本发明提供的一种互联网交易信息的数据清洗算法，包括：

将待清洗的互联网交易信息数据进行数据质量问题检测获得干净元组、正确元组和问题元组；

对所述干净元组：直接送入干净数据库；

对所述正确元组：生成需要向专家知识库检索关键语句，根据所述关键语句在所述专家知识库中进行查询获得专家知识库模式，所述专家知识库模式包括文本依赖关系语句，对所述专家知识库模式进行数据清洗后送入所述干净数据库；

对所述问题元组：进行可行元组的判断获得适合基于专家知识库模式清洗的可行元组和不适合基于专家知识库模式清洗的不可行元组，

对所述可行元组生成向所述专家知识库检索关键语句后从该专家知识库中查询获得专家知识库模式，再经过数据清洗后送入所述干净数据库，

对所述不可行元组进行其他策略数据清洗后送入所述干净数据库。

作为一种优化方案，所述专家知识库采用BP神经网络算法实现自学习，所述BP神经网络算法具体为：

一个m层的神经网络，对于给定的互联网交易信息样本集X_i(i＝1,2，…,n)，设第k层的i个神经元的输入总和表示为输出总和为从第k-1层的第j个神经元到第k层的第i个神经元的权系数为W_ij，各个神经元的激发函数为f(·)，则各个变量的关系可表示为：

Xik=f(Uik)]]>