[发明专利]数据抽样方法及装置

说明书

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据抽样方法及装置。

背景技术

一般地，随机抽样是设一个总体含有N个个体，从中逐个不放回地抽取n个个体作为样本（n≦N），如果每次抽取使总体内的各个个体被抽到的机会都相等，就把这种抽样方法叫做简单随机抽样。

相关技术中，随机抽样有以下两种方法：

在第一种方法中认为输入的数据就是随机的，因此在该方法中，认为直接取前n行。

在第二种方法中，取数据中行数取模m等于c的行，这样随机取出的数据中的行应该是随机的。在这种方法中，可以根据N和n的大小决定m大概等于多少。

对于上述两种方法，都存在问题：

对于第一种方法而言，该方法的前提是输入的数据是随机的，但是，在实际情况中，一般情况下输入的数据的分布是未知的，需要强调的是，未知并不等同随机，其数据的输入有可能是随机的也有可能不是随机的。

第二种方法存在的问题与第一种方法存在的问题是类似的。该方法对数据的排列要求比较高，如果输入的数据的排列是随机的，那么该方取出的数据基本上是随机的。但是同第一种方法一样，一般输入的数据可能不是随机排列的。例如，如果数据是按时间排序的，取模抽样得到的有可能是一天某几个特定小时的或某些特定分钟的数据。因此，第二种数据抽样方法的随机性也不好。

针对相关技术中的数据抽样的随机性不好的问题，尚未提出解决方案。

发明内容

本申请提供了一种数据抽样的方法及装置，以至少相关技术中的数据抽样的随机性不好的问题。

根据本申请的一个方面，提供了一种数据抽样方法，包括：获取目标数据，其中，所述目标数据包括多个数据块；计算所述目标数据的数据块总数N；根据对样本数的要求计算所述目标数据的抽样样本数M；从每个数据块中分别随机选取R个样本，并并进行汇总构成所述目标数据的抽样样本，其中，在M/N是整数的情况下，R=M/N，在M/N是小数的情况下，R等于M/N向上取整或者向下取整得到的整数。

根据本申请的另一个方面，还提供了一种数据抽样装置，包括：第一获取模块，用于获取包括多个数据块的目标数据，并计算所述目标数据的数据块总数N；第二获取模块，用于根据对样本数的要求计算所述目标数据的抽样样本数M；构成模块，用于从每个数据块中分别随机选取R个样本，并进行汇总构成所述目标数据的抽样样本，其中，在M/N是整数的情况下，R=M/N，在M/N是小数的情况下，R等于M/N向上取整或者向下取整得到的整数。

通过本申请，采用了计算所述目标数据的数据块总数N；根据对样本数的要求计算所述目标数据的抽样样本数M；从每个数据块中分别随机选取R个样本，并构成所述目标数据的抽样样本，解决了相关技术中的数据抽样的随机性不好的问题，从而提高了抽样样本的随机分布。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本申请实施例的数据抽样方法的流程图；

图2是根据本申请实施例的优选的从数据块中抽取数据方法的流程图；

图3是根据本申请实施例的优选的从每个数据块中选取R行数据方法的流程图；

图4是根据本申请实施例的优选的从每个数据块中选取R行数据方法的流程图；

图5是根据本申请优选实施例的抽样算法的流程图一；

图6是根据本申请优选实施例的抽样算法的流程图二；

图7是根据本申请实施例的数据抽样装置的结构图；

图8是根据本申请实施例的构成模块的结构图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程示意图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程示意图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。