[发明专利]一种结合RBM和特征选择的列表级排序学习方法

权利要求书

1.一种结合RBM和特征选择的列表级排序学习方法，其特征在于：包括以下步骤：

S101、搜集数据集，将数据集分为训练集、验证集和测试集；设置多层RBM网络的结构，修改RBM神经网络隐含层和可见层的重构的方式，将训练集样本中的每个列表的文档向量以查询列表为单位，分别输入修改后的多层RBM进行预训练；

S102、将传统ListNet算法中两层线性网络替换为多层线性神经网络，用S101中预训练得到的各层RBM网络的连接权值初始化多层线性神经网络的连接权值，得到每个查询列表的初始排序模型，以及每个查询列表的初始排序函数；基于训练集，用归一化衰减累计增益评价每个查询列表所对应的初始排序模型在训练集上的检索质量，并保存NDCG@n值最大的排序模型参数和排序函数；

S103、将整个训练集数据输入S102中得到的排序模型，得到各个查询列表中文档的预测得分值；用Luce模型和前k项TOP-k概率模型计算出按照人工标注降序排列的序列概率p(y)和按照模型预测分数降序排列的序列概率p(z)，定义基于交叉熵的损失函数L(y,z)，利用梯度下降法进行迭代优化，微调排序函数的参数，直到损失函数的值不再减小；保存微调过程中验证集的NDCG@n取得最大值时的参数，确定未经特征选择前的最佳排序模型RM₀以及最佳多层线性排序函数RF₀；

S104、将步骤S103所得最佳多层线性排序函数RF₀的特征系数的绝对值看做特征的权重，取前K个权重最大的特征，构建新的训练集、验证集和测试集；基于新的数据集，重复执行步骤S101至S步骤S103，得到特征选择后的最佳排序模型RM₁；

S105、将步骤S104中重新构建新的测试集的数据输入特征选择后的最佳排序模型RM₁，利用已学习参数进行特征测试，对测试集进行排序，同时得到整个测试集的排序评价标准值NDCG@n。

2.根据权利要求1所述的一种结合RBM和特征选择的列表级排序学习方法，其特征在于：步骤S101中：设置多层RBM网络的结构为：将数据集中特征向量的维数作为第一层RBM的节点数，设置最后一个RBM的隐含层为输出层，节点数为1。

3.根据权利要求1所述的一种结合RBM和特征选择的列表级排序学习方法，其特征在于：步骤S101中：RBM神经网络隐含层和可见层的重构的方式为：用可见层和隐含层激活值代替传统的sigmoid函数的概率生成值，作为各层的输出，即：其中，i表示可见层节点，j表示隐含层节点，n_v表示可见层节点数，n_j表示隐含层节点数，v_i是可见层的输出，h_j为隐含层的输出，c_i为可见层的偏置，b_j为隐含层的偏置，w_ij是可见层到隐含层的连接权值，v’_i是重构后的可见层输出，h’_j为重构后的隐含层输出。

4.根据权利要求1所述的一种结合RBM和特征选择的列表级排序学习方法，其特征在于：步骤S102中，用各RBM层重构后的可见层到隐含层之间的连接权值用来初始化多层线性神经网络的连接权值，用各RBM的隐含层偏置初始化线性神经网络各隐含层的偏置，最后一层RBM的隐含层的偏置初始化神经网络输出层的偏置值。