[发明专利]一种基于数据间关联关系的遗漏数据填补方法

说明书

技术领域

本发明属于数据预处理技术领域，具体涉及一种基于数据间关联关系的遗漏数据填补方法的设计。

背景技术

当前，由于计算机管理信息系统普遍应用于各行各业，积累的数据量日益增大，为使这些数据发挥其应有的作用，为相关行业的管理决策提供强有力的支持，提高经济和社会效益，由此诞生了数据挖掘、知识发现，其方法技术强调面向应用，因此，其应用效果日渐彰显，越来越受到业内人士的注意和重视。

参与数据挖掘和知识发现的数据质量是挖掘出的知识精确实用的前提，在虚假劣质数据泛滥的数据集上很难发现有用的知识和规则，因此在进行数据挖掘前，对数据进行相关的处理(例如：填补空缺数据项、平滑噪声数据、识别或去除异常数据和解决不一致数据等过程)对于提高数据质量，为随后的数据挖掘、知识发现提供优质的数据，是一个非常必要的步骤，一般称其为数据预处理。

目前，在数据预处理中填补遗漏数据的技术有：1、从相关信息中提取填补空缺值所需数据；2、利用同类别均值填补空缺值；3、利用决策树技术填补空缺值。这些技术在一定程度上解决了遗漏数据填补的问题，然而这些技术都没有很好的利用数据之间的关联关系，为数据分析提供较为精确的数据。

因此，针对上述现有技术在数据预处理中填补遗漏数据方面存在的缺陷，实有必要进行研究，以提供一种基于数据间关联关系的遗漏数据填补方法，用以为后期的数据分析提供高质量的数据。

发明内容

本发明的目的是为了解决现有技术在数据预处理中填补遗漏数据方面不够精确的问题，提出了一种基于数据间关联关系的遗漏数据填补方法。

本发明的技术方案为：一种基于数据间关联关系的遗漏数据填补方法，包括以下步骤：

S1、对数据之间的关联关系进行分析，得到数据之间的关联规律；

S2、找到数据之间关联关系最强的关联规律；

S3、根据步骤S2中得到的最强关联规律对数据进行分组；

S4、对数据中的遗漏数据进行预填补；

S5、进行BP神经网络的设计；

S6、循环应用步骤S5中得到的BP神经网络进行数据填补，直到所有的数据填补完成。

进一步地，步骤S1中的数据是现实社会的信息描述。

进一步地，步骤S2具体为通过基于属性的相关性计算或者基于数据值的相关性计算找到数据之间关联关系最强的关联规律。

进一步地，步骤S5包括以下分步骤：

S51、根据步骤S3中的分组情况，将每组数据中的80％作为训练集，20％作为测试集；

S52、假设训练集共有k列数据，则选择其中一列作为输出，其他作为输入，重复选择k次；

S53、在输入层设计n个神经元，n为步骤S3中分组个数，输出层设计一个神经元；在输入层与输出层之间设计一个隐层，隐层中的初始神经元个数为k-1个，根据实验情况的好坏，可能改变隐层神经元的个数，以寻找误差最小的神经元个数，以此构建BP神经网络；

S54、确定训练函数对BP神经网络的正向训练与反向学习，不断的缩小误差，最后达到误差很小的状态。

进一步地，步骤S54包括以下分步骤：

S541、权值初始化；

S542、给定输入变量和期望输出；

S543、正向训练：根据给定的输入变量计算得到神经网络的实际输出，并将其与期望输出比较，如果存在误差则进入步骤S544，否则结束；

S544、反向学习：计算同一层单元的误差，求出误差梯度，修正权值与阀值，判断误差是否满足要求，若满足要求则结束，否则返回步骤S542。

本发明的有益效果是：本发明利用数据之间的关联关系，通过设计BP神经网络解决了遗漏数据的填补问题，为后期的数据分析提供了高质量的数据，具有简单、高效、精确等优点。此外，本发明在设计BP神经网络之前设计了相关算法对遗漏数据进行了预填补，能够得到更好的神经网络模型和更精确的数据。

附图说明

图1为大数据的矩阵示意图。

图2为矩阵中数据遗失示意图。

图3为本发明提供的基于数据间关联关系的遗漏数据填补方法步骤流程图。

图4为本发明实施例的寻找MovieLens评分数据集中最强关联规律的流程图。

图5为本发明实施例的采用slope one算法进行遗漏值的预填补的步骤流程图。

图6为本发明步骤S5的分步骤流程图。

图7为本发明实施例的BP神经网络结构示意图。