[发明专利]数据分箱处理方法及装置、电子设备和计算机可读介质

权利要求书

1.一种数据分箱处理方法，其特征在于，包括：

获取待处理数据及其目标分箱方式和预设分箱数；

若所述待处理数据的数据量大于等于预设阈值，则将所述待处理数据随机分配至N个节点，N为大于1的正整数；

分别对各节点上的待处理数据排序，以获得各个节点中的第二排序数据或第五排序数据；

根据所述节点的个数N对各第二排序数据或各第五排序数据分别进行等频划分，以获得各个节点上的第一预切分点或第二预切分点；

根据所述第一预切分点确定第一候选切分点或根据所述第二预切分点确定第四候选切分点；

根据所述第一候选切分点或所述第四候选切分点将所述待处理数据有序分配到所述N个节点上；

分别对有序分配后的各节点上的待处理数据进行排序，以获得各个节点中的第一排序数据或第四排序数据；

根据所述预设分箱数并利用所述目标分箱方式对所述N个节点上的第一排序数据或第四排序数据进行处理，以确定所述待处理数据的目标分位点；

根据所述目标分位点对所述待处理数据进行分箱操作以获得分箱结果。

2.根据权利要求1所述方法，其特征在于，根据所述预设分箱数并利用所述目标分箱方式对所述N个节点上的第一排序数据进行处理，以确定所述待处理数据的目标分位点，包括：

若所述目标分箱方式为第一分箱方式，则根据所述各个节点中的第一排序数据获得所述待处理数据的全局KS；

根据所述待处理数据的全局KS确定所述目标分位点。

3.根据权利要求2所述方法，其特征在于，根据所述待处理数据的全局KS确定所述目标分位点，包括：

根据所述待处理数据的全局KS在所述N个节点上的第一排序数据中的确定第二候选切分点；

根据所述预设分箱数在所述第二候选切分点中确定所述目标分位点。

4.根据权利要求3所述方法，其特征在于，根据所述待处理数据的全局KS在所述N个节点上的第一排序数据中确定第二候选切分点，包括：

在所述全局KS中确定一个最大KS，将其对应的待处理数据作为所述第二候选切分点；

若所述第二候选切分点左侧和右侧的待处理数据的数据量大于预设数据量，则在所述第二候选切分点的左侧和右侧分别确定一个最大KS对应的待处理数据，以作为所述第二候选切分点。

5.根据权利要求3所述方法，其特征在于，根据所述预设分箱数在所述第二候选切分点中确定所述目标分位点，包括：

判断所述第二候选切分点的个数是否小于所述预设分箱数；

如果所述第二候选切分点的个数小于所述预设分箱数，则确定所述第二候选切分点就是所述目标分位点；

如果所述第二候选切分点的个数大于等于所述预设分箱数，根据所述预设分箱数并利用动态规划方法确定所述目标分位点。

6.根据权利要求1所述方法，其特征在于，还包括：

若所述待处理数据的数据量小于预设阈值，则对所述待处理数据进行排序，以生成第三排序数据；

确定所述第三排序数据的KS；

根据所述第三排序数据的KS确定第三候选切分点；

判断所述第三候选切分点的个数是否大于等于所述预设分箱数；

如果所述第三候选切分点的个数大于等于所述预设分箱数，根据所述预设分箱数并利用动态规划方法确定所述目标分位点。

7.根据权利要求1所述方法，其特征在于，根据所述预设分箱数并利用所述目标分箱方式对所述N个节点上的第四排序数据进行处理，以确定所述待处理数据的目标分位点，还包括：

若所述目标分箱方式为第二分箱方式，则根据所述预设分箱数在所述第四排序数据中确定所述目标分位点。