[发明专利]数据合成的方法、装置和设备

权利要求书

1.一种数据合成的方法，其特征在于，包括：

由数据库或其他源读取原始数据；

将所述原始数据分为键值数据和剩余数据；

根据所述键值数据生成新键值；

将所述剩余数据进行处理得到离散数据和连续数据；具体地，将去除主键值后的剩余数据按照数据类型分为字符型，数字型数据及时间类数据和离散数据；其中，类型区分的方式是利用Java连接SQL，读取数据库内存储的数据类型，与自设类型或java类型建立匹配关系；

对所述离散数据进行卡方分布处理得到新离散数据；

对所述连续数据进行因子处理得到字符数据、第一数字数据和时间数据，并将所述时间数据进行因子化得到第二数字数据，进而根据所述第一数字数据和所述第二数字数据得到合并数字数据；

根据所述字符数据生成新连续字符数据；

根据所述合并数字数据进行Copula过程和算式数据处理生成新连续数字数据，并把Copula过程得到数字数据处理为时间型数据；

将所述新键值、所述新离散数据、所述新连续字符数据、所述新连续数字数据和所述时间型数据进行数据合成，生成与所述原始数据拥有相同集特征的合成数据，作为大量机器学习所需训练集数据。

2.根据权利要求1所述的数据合成的方法，其特征在于，所述根据所述字符数据生成新连续字符数据，包括：

根据所述字符数据使用抽取转换装载ETL生成所述新连续字符数据。

3.根据权利要求1所述的数据合成的方法，其特征在于，所述将所述原始数据分为所述键值数据和所述剩余数据，包括：

对所述原始数据进行数据清洗；

对所述数据清洗后的原始数据，采用根据主键约束得到所述键值数据和所述剩余数据。

4.一种数据合成的装置，其特征在于，包括：

原始数据获取模块，用于由数据库或其他源获取原始数据；

处理模块，用于将所述原始数据分为键值数据和剩余数据，根据所述键值数据生成新键值，并将所述剩余数据进行处理得到离散数据和连续数据；具体地，将去除主键值后的剩余数据按照数据类型分为字符型，数字型数据及时间类数据和离散数据；其中，类型区分的方式是利用Java连接SQL，读取数据库内存储的数据类型，与自设类型或java类型建立匹配关系；

所述处理模块还用于对所述离散数据进行卡方分布处理得到新离散数据，并对所述连续数据进行因子处理得到字符数据、第一数字数据和时间数据，并将所述时间数据进行因子化得到第二数字数据，进而根据所述第一数字数据和所述第二数字数据得到合并数字数据；所述处理模块还用于根据所述字符数据生成新连续字符数据，根据所述合并数字数据进行Copula过程和算式数据处理生成新连续数字数据，并把Copula过程得到数字数据处理为时间型数据；将所述新键值、所述新离散数据、所述新连续字符数据、所述新连续数字数据和所述时间型数据进行数据合成，生成与所述原始数据拥有相同集特征的合成数据，作为大量机器学习所需训练集数据。

5.根据权利要求4所述的数据合成的装置，其特征在于，所述处理模块用于根据所述字符数据使用抽取转换装载ETL生成所述新连续字符数据。

6.根据权利要求4所述的数据合成的装置，其特征在于，所述处理模块用于对所述原始数据进行数据清洗；对所述数据清洗后的原始数据，采用根据主键约束得到所述键值数据和所述剩余数据。

7.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器和至少一个存储器；

所述存储器用于存储一个或多个程序指令；

所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1-3任一项所述的数据合成的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-3任一项所述的数据合成的方法。