[发明专利]数据抽样方法及装置

说明书

本发明提供一种数据抽样方法及装置，方法包括：将待检测数据集划分为第一预设数量个维度数据集，并确定每个维度数据集的维度权重；依次对第一预设数量个维度数据集进行抽样，以获取第一预设数量个第一抽样样本；将每个第一抽样样本进行合并，获取待检测数据集的目标抽样样本。所述装置用于执行上述方法。本发明提供的数据抽样方法及装置，通过对大数据集的分维度拆解，实现了海量数据的快速抽样，抽样获得的样本具有代表性，解决了现有技术中大数据抽样方法样本不准确的问题。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据抽样方法及装置。

背景技术

大数据主要表现在数据量大和数据维度多两个层面，尽管目前分布式(map-reduce等)和实时处理(流计算，内存计算)发展迅速，但是大数据在应用过程中如果能采用小抽样还是会节省一大笔成本，从效率和成本的角度考虑，适当和合理的抽样是有必要的。

现有的大数据抽样方法主要还是进行分层抽样，就是将大数据按其属性特征分成若干类型或层，然后在类型或层中随机抽取样本单位。这样的优点是：由于通过划类分层，增大了各类型中单位间的共同性，容易抽出具有代表性的调查样本。这也与大数据多维度相对应。

由于大数据是多维度的，如果单独对一个维度进行分层抽样，则样本可能因为其他维度的巨大差异导致推算出的总体与实际相差很远，从而导致抽样获得的样本不准确。

发明内容

本发明提供的数据抽样方法及装置，通过对大数据集的分维度拆解，实现了海量数据的快速抽样，抽样获得的样本具有代表性，解决了现有技术中大数据抽样方法样本不准确的问题。

本发明提供的一种数据抽样方法，包括：

将待检测数据集划分为第一预设数量个维度数据集，并确定每个维度数据集的维度权重；

根据预设抽样原则依次对所述第一预设数量个维度数据集进行抽样，以获取所述第一预设数量个第一抽样样本；

将每个第一抽样样本进行合并，获取所述待检测数据集的目标抽样样本；

其中，所述预设抽样原则是根据所述每个维度数据集的维度权重确定的。

根据本发明提供的一种数据抽样方法，所述根据预设抽样原则依次对所述第一预设数量个维度数据集进行抽样，以获取所述第一预设数量个第一抽样样本，包括：

根据所述目标抽样样本的总样本数和所述维度权重，确定所述第一抽样样本的第一样本数；

根据所述第一抽样样本的第一样本数及预设抽样原则依次对所述第一预设数量个维度数据集进行抽样，获取所述第一预设数量个第一抽样样本。

根据本发明提供的一种数据抽样方法，所述根据所述第一抽样样本的第一样本数及预设抽样原则依次对所述第一预设数量个维度数据集进行抽样，获取所述第一抽样样本，包括：

对所述每个维度数据集进行分层，以获取第二预设数量个层数据子集；

根据所述第一抽样样本的第一样本数和所述维度数据集中每个层数据子集的层次权重，确定所述每个层数据子集的第二样本数；

根据所述第二样本数对所述第二预设数量个层数据子集进行抽样，获取所述第二预设数量个第二抽样样本；

将每个第二抽样样本进行合并，获取所述第一抽样样本。

根据本发明提供的一种数据抽样方法，所述将每个第一抽样样本进行合并，获取所述待检测数据集的目标抽样样本，包括：

若所述第一抽样样本中的所述第二抽样样本与已抽抽样样本重合，则对所述第二抽样样本进行更新；