[发明专利]一种基于大数据的自动建模系统

权利要求书

1.一种基于大数据的自动建模系统，其特征在于，包括：数据读取模块、数据预处理模块、特征分析模块和模型训练模块，

数据读取模块从大数据集群读取数据，读取的数据为一张宽表，包含特征列，并且对数据中的索引信息ID列、标签列和日期列进行标记；

数据预处理模块对读取的数据进行处理，数据预处理模块包括：样本抽样模块、样本分区模块、特征筛选模块、缺失值填充模块和特征值映射模块，其中，样本抽样模块根据设定的采样比率对样本进行随机抽样或分层抽样，样本分区模块按照设定的样本划分比率将样本划分为训练集和验证集，特征筛选模块对验证集和训练集中的样本进行筛选以选出入模特征，缺失值填充模块对数据中缺失值进行填充，特征值映射模块在训练集上进行特征值映射；

模型训练模块对于训练集数据进行训练，得到训练集、验证集的模型预测结果。

2.根据权利要求1所述的自动建模系统，其特征在于，所述样本抽样模块根据设定的采样比率对样本进行随机抽样、分层抽样；特征分析模块结合样本标签、时间，统计每一维特征的KS、IV和PSI指标。

3.根据权利要求1所述的自动建模系统，其特征在于，模型训练模块还进行噪声去除：在模型训练之前，采用孤立森林算法去除异常样本。

4.根据权利要求3所述的自动建模系统，其特征在于，数据预处理模块的操作还包括：基于购物篮FP-Growth算法对输入数据进行数据去重和格式转换，其中输入数据为用户的商品购买情况，数据去重使得用户与同一商品的记录只出现过一次。

5.根据权利要求4所述的自动建模系统，其特征在于，数据预处理模块的操作还包括：基于协同过滤ALS算法对输入数据进行数据去重和信息映射，其中输入数据为用户与商品的交互行为，数据去重使得用户与商品的交互行为只出现过一次，信息映射为将用户与商品映射为标签索引。

6.根据权利要求5所述的自动建模系统，其特征在于，模型评估模块的输出的用于评估模型效果的指标包括：准确率、召回率、精准度、基尼系数、F1统计量、混淆矩阵、ROC曲线图、AUC、KS曲线图、提升度曲线图、召回率曲线图和响应率曲线图；MSE、RMSE、R2、调整R2、SMAPE、EVS、Median absolute error、MAE、特征的残差图、预测值与实际值对比图、分位数-分位数图和预测值残差分布图；簇内的点到中心点的距离平方和；正确率、混淆矩阵、准确率和召回率。

7.根据权利要求1所述的自动建模系统，其特征在于，数据预处理模块还包括样本配比模块和概率校正模块，样本配比模块能够对负样本进行抽样，调整正样本在总样本中的占比，概率校正模块对建模结果概率进行调整，使用先验概率进行校正。

8.根据权利要求7所述的自动建模系统，其特征在于，所述特征映射模块将特征不同的取值映射为与标签有关信息，所述特征映射模块对特征中每一种取值的样本进行统计，计算正标签样本量与总体样本中正标签样本量的比值B，计算负标签样本量与总体样本中负标签样本量的比值G，取ln(B/G)为该种取值的映射值。

9.根据权利要求8所述的自动建模系统，其特征在于，

所述特征映射模块对特征进行映射后入模，特征交叉时将映射值相乘。

10.根据权利要求9所述的自动建模系统，其特征在于，还包括：

模型上线模块，进行实时预测和对已上线模型的管理。