[发明专利]结合自动特征工程及残差神经网络的营销预测方法

说明书

一种结合自动特征工程及残差神经网络的营销预测方法，包括数据预处理步骤、数据集划分步骤、模型建立步骤、模型预测步骤以及模型的评价与优化步骤；与传统的利用运营商数据的数据营销领域所采用的协同过滤相比，本发明有效利用神经网络中嵌入层的特点对CTR问题中类别特征在哑编号后形成的高维稀疏特征进行有效的信息提取和降维；并通过短路连接构造残差网络，有效解决训练过程中的梯度消失问题，其能提供用户对广告点击意愿进行直接预测的途径，也适合处理在广告营销等推荐系统中具有大规模稀疏特征的数据。

技术领域

本发明涉及人工智能在互联网营销的技术领域，更具体地，涉及一种结合自动特征工程及残差神经网络的营销预测方法。

背景技术

随着经济全球化和市场经济的迅速发展，在企业营销战略中广告营销活动发挥着越来越重要的作用，是企业营销组合中的一个重要组成部分。网络广告营销是借助网络营销能最大化的传播给受众人群，而且也更为精准，网络广告营销需要广告主借助网络平台投入广告给目标性客户。

大数据智能获客系统，以运营商大数据库为中心，直接抓取符合自定义条件用户的联系方式，直接与客户进行沟通。

网络广告营销是推荐系统算法在真实场景中落地的一个重要应用，属于点击率预测问题(click-through rate,CTR)。一般会基于用户画像、行为以及商品等构造特征，并应用协同过滤(collaborative filtering)算法计算用户或商品之间的相似度并排序，给出排名最靠前的k个商品。

另外，由于CTR是预测用户对于投放广告的点击与不点击的概率，因此，常用的线性模型如逻辑回归(logistic regression,LR)、因式分解机器(factorization machine,FM)由于可解释性好、算法实施简单，也被广泛应用于求解CTR问题。

然而，上述线性模型算法存在的主要问题是：

①、线性模型由于自身较为简单，表达能力有限，对于特征之间的交互以及高阶特征的构造存在较大局限。另外，由于CTR问题的特征矩阵一般为髙维稀疏矩阵，即特征经过独热编码后形成大量的0/1矩阵，这对算力的消耗也造成了一定压力。

因此，如何在降低特征维度，同时兼顾模型精度上，对特征工程及算法的设计提出更高要求。

②、本领域技术人员清楚，在深度学习中通过添加的嵌入层(embedding layer)可以对稀疏矩阵中的特征信息进行浓缩和抽提，并有效的实现了降维；然而在许多实践中发现，在误差反向传播过程中，对损失函数的求导很容易造成梯度消失的问题。

因此，如何利用嵌入式方法对CTR问题中的大型稀疏矩阵进行有效的处理，并有效减少网络训练过程中的梯度消失等问题，是深度学习应用于CTR问题应着力突破的关键技术。

发明内容

本发明的目的在于克服现有技术存在的上述缺陷，提供一种结合自动特征工程及残差神经网络的营销预测方法，其利用自设计的多头残差神经网络，先利用embedding等方法对特征信息进行提取和降维，实现自动化特征工程；接着对原始特征和经过预处理后的特征增加三通道的卷积层分别进行处理，最后将两者合并后并添加短路连接(shortcutconnection)构造残差网络，进行最终的训练。

为实现上述目的，本发明的技术方案如下：

一种结合自动特征工程及残差神经网络的营销预测方法，其包括数据预处理步骤S1、数据集划分步骤S2和模型建立步骤S3；

所述数据预处理步骤S1包括如下步骤：