[发明专利]一种无序分类变量处理方法及装置

说明书

本申请提供了一种无序分类变量处理方法及装置，其中，该方法包括：获取无序分类变量集，其中，无序分类变量集包括至少两类无序分类变量，且对应因变量为二分类变量；针对无序分类变量集中的每一类无序分类变量，统计该类无序分类变量中因变量取值为二分类变量中目标分类值的无序分类变量在该类无序分类变量中的分类占比；基于各类无序分类变量的分类占比，对无序分类变量集进行聚类处理，得到多个无序分类变量子集；其中，每个无序分类变量子集包括至少一类无序分类变量，且每个无序分类变量子集为一个对应有序分类变量。本申请无需人为经验的参与即可实现分组，使得分组处理的效率较高，且进一步提升了分组结果的客观性和准确性。

技术领域

本申请涉及计算机处理技术领域，具体而言，涉及一种无序分类变量处理方法及装置。

背景技术

随着大数据时代的到来以及互联网技术的迅速发展，各行业的数据量呈现爆发式增长。在这些数据中，无序型的分类变量占了很大一部分比重。为了便于挖掘数据中的潜在价值，需要采用有效的处理方法对上述无序分类变量进行处理。其中，变量分组问题是变量处理方法中常见的问题。

针对变量分组问题，大多研究的是对连续型变量的分组。对于无序型的分类变量分组的相关研究较少，基本会采取两种处理方法：一是通过经验进行分组，二是不进行分组直接拿来使用。

然而，上述通过经验进行分组的方法效率较低，且不能确保分组的有效性，上述不进行分组直接使用的方法则对于分类较为广泛的多分类变量而言，不能确保后续建模等应用时的效果。

发明内容

有鉴于此，本申请实施例的目的在于提供一种无序分类变量处理方法及装置，在提高对无序分类变量进行分组处理的效率的同时，还提升了分组结果的客观性和准确性。

第一方面，本申请实施例提供了一种无序分类变量处理方法，所述方法包括：

获取无序分类变量集，其中，所述无序分类变量集包括至少两类无序分类变量，且对应因变量为二分类变量；

针对所述无序分类变量集中的每一类无序分类变量，统计该类无序分类变量中因变量取值为二分类变量中目标分类值的无序分类变量在该类无序分类变量中的分类占比；

基于各类无序分类变量的分类占比，对所述无序分类变量集进行聚类处理，得到多个无序分类变量子集；其中，每个无序分类变量子集包括至少一类无序分类变量，且每个无序分类变量子集为一个对应有序分类变量。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，所述基于各类无序分类变量的分类占比，对所述无序分类变量集进行聚类处理，得到多个无序分类变量子集，包括：

从所述无序分类变量集中随机选取出预设数量个分类作为聚类的质心；

将所述无序分类变量集中剩余的分类分配至距离最小的质心所对应的聚类中；其中，所述剩余的分类与每个质心之间的距离由两者之间的分类占比确定；

重新计算每个聚类的质心，并基于计算后的质心，重新对所述无序分类变量集中的每一分类进行聚类分配，直至在判断出更新后的质心与更新前的质心符合预设距离阈值时，停止聚类分配，得到聚类处理后的多个无序分类变量子集。

结合第一方面，本申请实施例提供了第一方面的第二种可能的实施方式，其中，所述方法还包括：

确定每个无序分类变量子集的类别赋值信息。

结合第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中，在确定每个无序分类变量子集的类别赋值信息之前，所述方法还包括：

按照无序分类变量子集的分类占比由小到大的顺序，对各个无序分类变量子集进行排序，所述无序分类变量子集的分类占比由所述无序分类变量子集中各分类无序分类变量的分类占比确定；