[发明专利]结合自动特征工程及残差神经网络的营销预测方法

权利要求书

1.一种结合自动特征工程及残差神经网络的营销预测方法，其特征在于，包括数据预处理步骤S1、数据集划分步骤S2和模型建立步骤S3；

所述数据预处理步骤S1包括如下步骤：

步骤S11：获取用户的原始信息，并从所述用户的原始信息提取原始特征信息；其中，所述原始特征信息包括用户ID、用户手机号码归属地、任务批次号、用户当日访问DPI、用户访问DPI频次、用户访问时间和/或用户访问时长；其中，所述任务批次号表示一个日期时间段中用户的原始信息，所述用户访问DPI、用户访问DPI频次、用户访问时间和/或用户访问时长为每一个任务批次号为计量单位，所述用户当日访问DPI和用户的手机号码归属地特征为类别特征；

步骤S12：对类别特征进行处理；即对所述用户手机号码归属地特征和用户访问DPI进行One-hot编码处理；其中，所述One-hot编码处理包括：

依次按所述任务批次号将所有不同的用户访问DPI作为单独的特征展开，以及在所述任务批次号中将DPI访问频次也按照所有不同的用户访问DPI展开为DPI与用户访问DPI的频次的关系特征；

步骤S13：对连续特征进行处理；即将不同维度的访问时间和访问时长数据映射到一个统一区间，并调整数据分布近似为高斯分布；

步骤S14：采用主成分分析对髙维特征进行降维处理；

所述数据集划分步骤S2包括如下步骤：

步骤S21：预处理之后，将所述归属地特征和用户当日访问DPI是否点击的特征看作稀疏特征，将所述用户访问DPI频次定义为连续特征；

步骤S22：将需要预测的时间点t+1之前时间序列为1,2,…t-1时间点的历史数据，即作为训练数据；而对时间点t所对应的数据作为本地验证集；

所述模型建立步骤S3包括如下步骤：

步骤S31：使用嵌入层，将所述类别特征进行降维处理，从M1维为降到M2维；其中，M2小于M1；

步骤S32：将降到M2维的所述类别特征与N1维的所述连续特征相连，组成特征维度为M2+N1维的数据；

步骤S33：提供神经网络模型，通过所述神经网络模型训练将M2+N1维的数据进一步降到H维的数据；建立与已经过嵌入层的H维特征的短路连接得到具有两个输出层神经元的用户预测模型，并采用所述本地验证集中数据对所述用户预测模型验证，其中，H小于M2+N1。

2.根据权利要求1所述的结合自动特征工程及残差神经网络的营销预测方法，其特征在于，还包括步骤S34，对所述用户预测模型进行模型评价指标处理和调优处理。

3.根据权利要求2所述的结合自动特征工程及残差神经网络的营销预测方法，其特征在于，所述模型评价指标包括采用召回率、ROC曲线和AUC值。

4.根据权利要求3所述的结合自动特征工程及残差神经网络的营销预测方法，其特征在于，所述模型评价指标为AUC值，若所述AUC值小于一预定的阈值，再对所述用户预测模型进行模型调优处理。

5.根据权利要求2所述的结合自动特征工程及残差神经网络的营销预测方法，其特征在于，所述模型调优处理包括如下一种或几种：

增加批归一化，解决数据的内部协变量偏移问题；

在网络中增加让部分神经元在训练过程中处于休眠状态的功能；

调整学习率，一般会通过指数式衰减等策略调整训练过程中的学习率；

设置多种子训练取平均，以更好的提高由于数据方差较大引起的泛化能力不足的问题；

增加L1或者L2正则化，对损失函数施加惩罚，以降低过拟合风险；

对超参数的优化方法。

6.根据权利要求5所述的结合自动特征工程及残差神经网络的营销预测方法，其特征在于，所述对超参数的优化方法采用贝叶斯优化策略。

7.根据权利要求1所述的结合自动特征工程及残差神经网络的营销预测方法，其特征在于，对所述连续特征处理为利用RankGauss方法。