[发明专利]基于特征转换函数的数据挖掘方法、设备及可读介质

权利要求书

1.基于特征转换函数的数据挖掘方法，其特征在于，包括如下步骤：

步骤1：通过SQL语句提取数据库中挖掘特征所需要的原始数据，并将多维原始数据进行压缩处理，形成特征转换函数所需要的数据结构，并生成数据表结构，将生成的数据表结构存储到存储器新建的存储空间中；

步骤2：调用存储器中存储的数据表结构，将数据表结构转换成对应Python环境的list和dict数据格式，作为特征生成的输入项；

步骤3：构建特征转换函数，通过所述特征转换函数将步骤2中转换为list和dict数据格式的数据转换为最终的特征。

2.根据权利要求1所述的基于特征转换函数的数据挖掘方法，其特征在于，步骤1具体包括以下步骤：

步骤1.1：从原始底层表中提取特征加工过程中需要的所有字段，利用“concat”函数将每个字段固定呈字符串或者数值的格式，并压缩为1条记录，定义有Y个用户，每个用户有N条记录，形成Y×N维的数据表；

步骤1.2：通过“group by”方法和“collect_list”函数，将Y×N维的数据表中的数据全部聚合为用户维度的数据，N条记录被压缩为1条数据，形成Y×1的数据表；

步骤1.3：定义有M个Y×1的数据表，将M个Y×1的数据表结合在一起，最终形成Y×M的原始数据表。

3.根据权利要求1所述的基于特征转换函数的数据挖掘方法，其特征在于，步骤3具体包括以下步骤：

步骤3.1：对步骤2中转换成对应Python环境的list和dict数据格式的数据做预处理和加工；

步骤3.2：定义每个特征的初始默认值，然后按照挖掘的逻辑计算每个特征的值。

4.根据权利要求3所述的基于特征转换函数的数据挖掘方法，其特征在于，所述步骤3.1包括对原始数据进行特征转换以及增加数据衍生字段。

5.根据权利要求1所述的基于特征转换函数的数据挖掘方法，其特征在于，步骤1中所述的压缩处理为：多维原始数据经过两次无损信息压缩。

6.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器以及存储在所述存储器上并可被所述处理器执行的数据挖掘程序，其中所述数据挖掘程序被所述处理器执行时，实现如权利要求1至5中任一项所述的数据挖掘方法的步骤。

7.一种计算机可读储存介质，其特征在于，所述计算机可读存储介质上存储有数据挖掘程序，其中所述程序被处理器执行时，实现如权利要求1至5中任一项所述的数据挖掘方法的步骤。