[发明专利]数据预处理方法、装置、计算机设备及存储介质

权利要求书

1.一种数据预处理方法，其特征在于，包括：

判断天气样本数据的指定因子的数据类型；

获取与所述数据类型匹配的第一数据填充方法，并根据所述第一数据填充方法对所述天气样本数据在指定因子上的缺失值进行第一次填充；

在所有所述天气样本数据的缺失值填充完毕后，通过预设嵌入式特征选择算法对存在已填充缺失值的指定因子进行筛选，获得优选因子；

判断已填充的缺失值属于优选因子的天气样本数据是否存在历史数据；

若已填充的缺失值属于优选因子的天气样本数据存在历史数据，则根据第二数据填充方法和所述历史数据计算替换值，将所述已填充的缺失值替换为所述替换值。

2.如权利要求1所述的数据预处理方法，其特征在于，所述判断天气样本数据的指定因子的数据类型之前，还包括：

计算所述天气样本数据在各个因子的缺失率；

分别判断所述各个因子的缺失率是否小于预设缺失阈值；

将缺失率小于预设缺失阈值的因子确定为所述指定因子，并删除缺失率大于或等于预设缺失阈值的因子。

3.如权利要求1所述的数据预处理方法，其特征在于，所述获取与所述数据类型匹配的第一数据填充方法，并根据所述第一数据填充方法对所述天气样本数据在指定因子上的缺失值进行第一次填充，包括：

若所述数据类型为数值型，则计算所述天气样本数据在指定因子上所有未缺失的值的平均值；

将所述缺失值替换为所述平均值。

4.如权利要求1所述的数据预处理方法，其特征在于，所述获取与所述数据类型匹配的第一数据填充方法，并根据所述第一数据填充方法对所述天气样本数据在指定因子上的缺失值进行第一次填充，包括：

若所述数据类型为非数值型，则计算所述天气样本数据在指定因子上所有未缺失的值的众数；

将所述缺失值替换为所述众数。

5.如权利要求1所述的数据预处理方法，其特征在于，所述通过预设嵌入式特征选择算法对存在已填充缺失值的指定因子进行筛选，获得优选因子，包括：

通过随机森林算法计算各个存在已填充缺失值的指定因子的重要性；

选取重要性高于预设重要性阈值的指定因子为优选因子。

6.如权利要求1所述的数据预处理方法，其特征在于，所述根据第二数据填充方法和所述历史数据计算替换值，将所述已填充的缺失值替换为所述替换值，包括：

从所述历史数据中选取指定时间范围的区间历史数据；

使用预设线性计算函数对所述区间历史数据进行处理，计算出所述替换值；

将所述已填充的缺失值替换为所述替换值。

7.一种数据预处理装置，其特征在于，包括：

类型判断模块，用于判断天气样本数据的指定因子的数据类型；

一次填充模块，用于获取与所述数据类型匹配的第一数据填充方法，并根据所述第一数据填充方法对所述天气样本数据在指定因子上的缺失值进行第一次填充；

筛选因子模块，用于在所有所述天气样本数据的缺失值填充完毕后，通过预设嵌入式特征选择算法对存在已填充缺失值的指定因子进行筛选，获得优选因子；

历史数据查询模块，用于判断已填充的缺失值属于优选因子的天气样本数据是否存在历史数据；

二次填充模块，用于若已填充的缺失值属于优选因子的天气样本数据存在历史数据，则根据第二数据填充方法和所述历史数据计算替换值，将所述已填充的缺失值替换为所述替换值。

8.如权利要求7所述的数据预处理装置，其特征在于，还包括因子排除模块，所述因子排除模块包括：

缺失率计算单元，用于计算所述天气样本数据在各个因子的缺失率；

分别判断所述各个因子的缺失率是否小于预设缺失阈值；

将缺失率小于预设缺失阈值的因子确定为所述指定因子，并删除缺失率大于或等于预设缺失阈值的因子。