[发明专利]一种结合RBM和特征选择的列表级排序学习方法

摘要

本发明涉及一种结合RBM和特征选择的列表级排序学习方法，包括步骤修改传统RBM可见层和隐含层的重构方式，将训练集数据输入多层RBM网络进行预训练；用多层RBM预训练所得参数对多层神经网络的参数进行初始化，得到一个训练集上的较优模型；定义基于交叉熵的损失函数并采用梯度下降法进行优化，通过验证集确定最优排序函数，微调神经网络权值；根据排序函数的系数值，选出权值最大的K个特征，组建新的数据集；根据新的数据集重新训练出最优排序函数，并对测试集进行排序，输出评价标准值。本方法具有训练时间短和排序结果评价标准值高的优点。

主权项

一种结合RBM和特征选择的列表级排序学习方法，其特征在于：包括以下步骤：S101、搜集数据集，将数据集分为训练集、验证集和测试集；设置多层RBM网络的结构，修改RBM神经网络隐含层和可见层的重构的方式，将训练集样本中的每个列表的文档向量以查询列表为单位，分别输入修改后的多层RBM进行预训练；S102、将传统ListNet算法中两层线性网络替换为多层线性神经网络，用S101中预训练得到的各层RBM网络的连接权值初始化多层线性神经网络的连接权值，得到每个查询列表的初始排序模型，以及每个查询列表的初始排序函数；基于训练集，用归一化衰减累计增益评价每个查询列表所对应的初始排序模型在训练集上的检索质量，并保存NDCG@n值最大的排序模型参数和排序函数；S103、将整个训练集数据输入S102中得到的排序模型，得到各个查询列表中文档的预测得分值；用Luce模型和前k项TOP‑k概率模型计算出按照人工标注降序排列的序列概率p(y)和按照模型预测分数降序排列的序列概率p(z)，定义基于交叉熵的损失函数L(y,z)，利用梯度下降法进行迭代优化，微调排序函数的参数，直到损失函数的值不再减小；保存微调过程中验证集的NDCG@n取得最大值时的参数，确定未经特征选择前的最佳排序模型RM0以及最佳多层线性排序函数RF0；S104、将步骤S103所得最佳多层线性排序函数RF0的特征系数的绝对值看做特征的权重，取前K个权重最大的特征，构建新的训练集、验证集和测试集；基于新的数据集，重复执行步骤S101至S步骤S103，得到特征选择后的最佳排序模型RM1；S105、将步骤S104中重新构建新的测试集的数据输入特征选择后的最佳排序模型RM1，利用已学习参数进行特征测试，对测试集进行排序，同时得到整个测试集的排序评价标准值NDCG@n。