[发明专利]数据处理的方法和装置

说明书

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据处理的方法和装置。

背景技术

随着互联网的发展，信息成爆炸式增长，需要处理的数据量也随之骤增。并且这些数据对应的特征维数高，甚至达到上亿级别，直接处理运算开销极大，因此，如何有效地对高维数的数据进行处理是迫切需要解决的问题。

MapReduce是一种分布式编程模型，用于大规模数据集的并行运算，如大于1TB的数据集的并行运算。首先，Map映射函数对杂乱无章的原始数据进行特征提取得到key-value键值对，然后经过MapReduce框架的Shuffle阶段得到归纳好的数据集合，最后由Reduce化简函数对数据集合进行并行处理得到最终结果。其中，Reduce函数每次处理的所有键值对均共享同一个键。

但是，上述处理过程中，MapReduce框架需要归纳处理的键值对数量相当大，运算开销大，耗时长，极大地影响数据处理速度。

发明内容

为了提高数据的处理速度，本发明实施例提供了一种数据处理的方法和装置。所述技术方案如下：

一方面，提供了一种数据处理的方法，包括：

根据主键对样本进行排序，所述主键包括特征序号和样本序号，所述主键对应的列值为样本的特征值；

以所述主键和特征值为输入键值对，使用第一算法模型计算得到每个类别中的每个特征的统计量，并将特征序号和统计量作为输出键值对输出；

使用第二算法模型对所述输出键值对进行计算，得到每个特征对类别的贡献值，根据所述贡献值进行特征选取。

另一方面，提供了一种数据处理的装置，包括：

排序模块，用于根据主键对样本进行排序，所述主键包括特征序号和样本序号，所述主键对应的列值为样本的特征值；

第一处理模块，用于以所述主键和特征值为输入键值对，使用第一算法模型计算得到每个类别中的每个特征的统计量，并将特征序号和统计量作为输出键值对输出；

第二处理模块，用于使用第二算法模型对所述输出键值对进行计算，得到每个特征对类别的贡献值，根据所述贡献值进行特征选取。

本发明提供的技术方案带来的有益效果是：通过根据主键对样本进行排序，以主键和对应的特征值为输入键值对，使用第一算法模型计算得到每个类别中的每个特征的统计量，并将特征序号和统计量作为输出键值对输出；使用第二算法模型对所述输出键值对进行计算，得到每个特征对类别的贡献值，根据所述贡献值进行特征选取，极大地提高了数据的处理速度，缩短了数据的处理时间，降低了运算开销，通过两次算法模型计算，实现了快速特征选择。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例1提供的数据处理的方法流程图；

图2是本发明实施例2提供的数据处理的方法流程图；

图3是本发明实施例2提供的MapReduce模型处理过程示意图；

图4是本发明实施例3提供的数据处理的装置结构图之一；

图5是本发明实施例3提供的数据处理的装置结构图之二；

图6是本发明实施例3提供的数据处理的装置结构图之三。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

参见图1，本实施例提供了一种数据处理的方法，包括：

101：根据主键对样本进行排序，该主键包括特征序号和样本序号，该主键对应的列值为样本的特征值；

102：以该主键和特征值为输入键值对，使用第一算法模型计算得到每个类别中的每个特征的统计量，并将特征序号和统计量作为输出键值对输出；

103：使用第二算法模型对该输出键值对进行计算，得到每个特征对类别的贡献值，根据该贡献值进行特征选取。

本实施例中，所述主键是指存储所述样本的分布式数据库中一个列或者列的组合，该列或列的组合的值能够唯一地标识数据库的表中的一行。主键与对应的列值也可以看成键值对。