[发明专利]点击率预估模型的建立方法及系统

权利要求书

1.一种点击率预估模型的建立方法，其特征在于，包括：

历史数据提取步骤：从历史点击数据中提取基础特征；

特征向量构建步骤：将基础特征中的类别型特征和数值型特征分别构建同一维度的特征向量表示，作为模型训练输入；

模型建立步骤：建立基于对数变换层和多层全连接神经网络的点击率预估模型；

模型优化步骤：通过训练数据对点击率预估模型进行优化，得到最优的模型参数；

所述特征向量构建步骤包括：

对基础特征中的每项类别型特征分别构建一个预定义维度的第一特征向量表示，第一特征向量的值随机初始化；

对基础特征中的每项数值型特征分别构建一个同一维度的第二特征向量表示，第二特征向量的值随机初始化后乘以归一化的特征数值作为最终向量值；

所述模型建立步骤包括：

对输入的所有特征向量进行对数变换，得到变换后的特征向量；

对于对数变换后的特征向量通过权值矩阵进行多组的向量加权求和；

对得到的多种加权组合向量值进行指数变换，得到指数变换后的多种加权组合向量值，所述的指数变换后的多种加权组合向量值视为基础特征的多种交叉特征向量；

通过单层或多层全连接的神经网络对上述得到的多种交叉特征向量进行特征交互建模，并最终输出得到点击率的预估值；

对输入的所有特征向量进行对数变换，得到变换后的特征向量，具体包括：

对输入的特征向量通过包括取绝对值的方式保证非负性，并过滤极小值，以防止造成对数变换时的数值溢出；

对数变换的底数的取值包括自然底数；

对于对数变换后的特征向量通过权值矩阵进行多组的向量加权求和，具体包括：

进行加权求和时，每个特征向量内部共享权值，不同的特征向量之间依据权值矩阵取用不同的权值进行按位加和；

权值矩阵的行数为特征向量的个数，矩阵的列数为模型超参数，权值矩阵随机初始化并由后续模型训练得到最终值。

2.根据权利要求1所述的点击率预估模型的建立方法，其特征在于，所述历史数据提取步骤包括：

从历史点击数据中提取基础特征，对基础特征进行预处理，所述预处理包括提取用户和展示信息的基础特征以及记录用户是否点击的信息，对基础特征中的缺失值进行填充，并对数值型特征做归一化处理。

3.根据权利要求1所述的点击率预估模型的建立方法，其特征在于，对得到的多种加权组合向量值进行指数变换，得到指数变换后的多种加权组合向量值，具体包括：

指数变换的底数与对数变换时的底数保持一致。

4.根据权利要求1所述的点击率预估模型的建立方法，其特征在于，通过单层或多层全连接的神经网络对上述得到的多种交叉特征向量进行特征交互建模，并最终输出得到点击率的预估值，具体包括：

对得到的多种交叉特征向量进行串联以作为神经网络输入；

通过单隐层或多隐层的神经网络对输入进行建模，以得到点击率的预估值。

5.根据权利要求3所述的点击率预估模型的建立方法，其特征在于，所述模型优化步骤包括：

对所有待训练的模型参数，包括特征向量、权值矩阵和神经网络参数进行随机初始化；

对对数变换和指数变换后的特征向量值均进行批归一化处理；

使用基于梯度下降法的优化器对模型参数进行优化。

6.一种点击率预估模型的建立方法实现的系统，其特征在于，包括：执行权利要求1所述的方法；

历史数据提取模块：从历史点击数据中提取基础特征；

特征向量构建模块：将基础特征中的类别型特征和数值型特征分别构建同一维度的特征向量表示，作为模型训练输入；

模型建立模块：建立基于对数变换层和多层全连接神经网络的点击率预估模型；

模型优化模块：通过训练数据对点击率预估模型进行优化，得到最优的模型参数。