[发明专利]数据更新的方法及装置

说明书

技术领域

本发明涉及信息处理技术领域，尤其涉及一种数据更新的方法及装置。

背景技术

近年来，随着信息处理技术的发展，大数据被越来越多的应用到了导航系统或城市规划等各个领域。

目前的大数据架构通常是以数据流为导向来进行数据处理的，即，首先从数据源获取数据并将获取到的数据进行存储，然后对数据进行预处理，再根据预处理后的数据进行数据建模、数据分析与数据挖掘，最后实现数据变现。由此可见，数据预处理是大数据结构中整个数据处理过程的基础，其质量与精准度可能会直接影响到后续环节中数据维度建模的指标定义、数据挖掘算法的选择或数据的准确性度量等，是数据处理过程的重要环节之一。

数据预处理的过程中通常会涉及到对数据中的缺失值进行处理，现有技术中，在对数据进行处理时一般会采用人工填写、删除含缺失值的记录数据(即删除法)、使用特殊字符(如NULL)填充、或者使用统计学上的均值或众数进行缺失值的填补等方法对数据中的缺失值进行处理。但是，当数据量较多或达到一定级别时，人工填写需耗费较多的时间与精力，无法满足数据流实时快速传输与处理的需求；删除含缺失值的记录数据、使用统一的特殊字符或者使用统计学上的均值或众数进行缺失值填充不具有针对性，会导致数据准精确性和有效性降低，由此可见，现有技术无法同时满足缺失值处理的高效率和高精度的要求。

发明内容

有鉴于此，本发明实施例提供一种数据更新的方法及装置，以解决现有技术中的数据处理方法无法同时满足缺失值处理的高效率和高精度的要求的技术问题。

第一方面，本发明实施例提供了一种数据更新的方法，包括：

获取数据样本中缺失属性和非缺失属性的第一出现率信息，所述数据样本包括包含缺失值的第一数据样本和未包含缺失值的第二数据样本，所述缺失属性为所述第一数据样本中缺失值对应的属性；

根据所述第一出现率信息计算所述缺失属性对应的各属性值的第二出现率信息，所述第二出现率信息为缺失属性对应的各属性值在所述第一数据样本中出现的出现率信息；

根据所述第二出现率信息确定与所述第一数据样本对应的填充值，并根据所述填充值更新所述第一数据样本。

第二方面，本发明实施例还提供了一种数据更新的装置，包括：

第一出现率信息获取模块，用于获取数据样本中缺失属性和非缺失属性的第一出现率信息，所述数据样本包括包含缺失值的第一数据样本和未包含缺失值的第二数据样本，所述缺失属性为所述第一数据样本中缺失值对应的属性；

第二出现率信息计算模块，用于根据所述第一出现率信息计算所述缺失属性对应的各属性值的第二出现率信息，所述第二出现率信息为缺失属性对应的各属性值在所述第一数据样本中出现的出现率信息；

数据样本更新模块，用于根据所述第二出现率信息确定与所述第一数据样本对应的填充值，并根据所述填充值更新所述第一数据样本。

本发明实施例提供的数据更新的技术方案，获取数据样本中缺失属性和非缺失属性的第一出现率信息，根据所获取的第一出现率信息计算缺失属性对应的各属性值在包含缺失值的数据样本中出现的第二出现率信息，根据该第二出现率信息确定与包含缺失值的数据样本中的缺失值对应的填充值，并根据该填充值更新包含缺失值的数据样本。本发明实施例通过采用上述技术方案，根据缺失属性对应的各属性值在包含缺失值的数据样本中的出现率信息确定与包含缺失值的数据样本中的缺失值相对应的填充值，可以提高填充值的正确性与数据信息的有效性，提高缺失值的处理速度，减少处理缺失值所需的时间，进而提高后续数据处理流程的准确性与整个数据处理过程的平均速度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例一提供的一种数据更新的方法的流程示意图；

图2为本发明实施例二提供的一种数据更新的方法的流程示意图；

图3为本发明实施例三提供的一种数据更新的装置的结构框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

实施例一