[发明专利]数据分箱处理方法及装置、电子设备和计算机可读介质

说明书

本公开提供一种数据分箱处理方法、装置以及电子设备和计算机可读介质，涉及数据处理领域，该方法包括：获取待处理数据及其目标分箱方式和预设分箱数；若所述待处理数据的数据量大于等于预设阈值，则将所述待处理数据随机分配至N个节点，N为大于1的正整数；根据所述预设分箱数并利用所述目标分箱方式对所述N个节点上的待处理数据进行处理，以确定所述待处理数据的目标分位点；根据所述目标分位点对所述待处理数据进行分箱操作以获得分箱结果。本公开实施例提供的技术方案可以对数据量较大的数据进行分箱处理。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种数据分箱处理方法及装置、电子设备和计算机可读介质。

背景技术

数据分箱是一种常用的数据处理方法。数据分箱实际上就是把数据按照某一属性的属性值划分子区间，如按照年龄划分子区间、按照身高划分子区间等。如果一个数据的属性值处于某个子区间范围内，就把该数据放到该子区间代表的分箱内。

随着大数据的发展，数据规模逐渐增大，一种能适应大规模数据的分箱方法，对于数据处理是具有极其重要的意义。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本公开实施例提供一种数据分箱处理方法及装置、电子设备和计算机可读介质，能够实现对数据规模较大数据进行分箱处理。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的第一个方面，提出一种数据分箱处理方法，该方法包括：获取待处理数据及其目标分箱方式和预设分箱数；若所述待处理数据的数据量大于等于预设阈值，则将所述待处理数据随机分配至N个节点，N为大于1的正整数；根据所述预设分箱数并利用所述目标分箱方式对所述N个节点上的待处理数据进行处理，以确定所述待处理数据的目标分位点；根据所述目标分位点对所述待处理数据进行分箱操作以获得分箱结果。

在本公开的一些示例性实施例中，根据所述预设分箱数并利用所述目标分箱方式对所述N个节点上的待处理数据进行处理，以确定所述待处理数据的目标分位点，包括：若所述目标分箱方式为第一分箱方式，则确定所述待处理数据的第一候选切分点；根据所述第一候选切分点将所述待处理数据有序分配到所述N个节点上；分别对有序分配后的各节点上的待处理数据进行排序，以获得各个节点中的第一排序数据；根据所述各个节点中的第一排序数据获得所述待处理数据的全局KS；根据所述待处理数据的全局KS确定所述目标分位点。

在本公开的一些示例性实施例中，确定所述待处理数据的第一候选切分点，包括：分别对各节点上的待处理数据排序，以获得各个节点中的第二排序数据；根据所述节点的个数N分别对各第二排序数据进行等频划分，以获得各个节点上的第一预切分点；根据所述第一预切分点确定所述第一候选切分点。

在本公开的一些示例性实施例中，根据所述待处理数据的全局KS确定所述目标分位点，包括：根据所述待处理数据的全局KS在所述N个节点上的第一排序数据中的确定第二候选切分点；根据所述预设分箱数在所述第二候选切分点中确定所述目标分位点。

在本公开的一些示例性实施例中，根据所述待处理数据的全局KS在所述N个节点上的第一排序数据中确定第二候选切分点，包括：在所述全局 KS中确定一个最大KS，将其对应的待处理数据作为所述第二候选切分点；若所述第二候选切分点左侧和右侧的待处理数据的数据量大于预设数据量，则在所述第二候选切分点的左侧和右侧分别确定一个最大KS对应的待处理数据，以作为所述第二候选切分点。