[发明专利]一种结合RBM和特征选择的列表级排序学习方法

说明书

技术领域

本发明涉及一种列表级排序学习方法，尤其涉及一种结合RBM和特征选择的列表级排序学习方法。

背景技术

排序学习(Learning To Rank)是一个信息检索与机器学习相结合的研究领域，广泛地应用于文档检索、协同滤波、过滤垃圾邮件、关键词抽取等众多方面。

根据训练数据的不同，将排序学习分为基于单个样本、基于样本对以及基于列表级的算法。基于单个样本的方法与普通的分类回归方法并无本质不同，没有融入与查询相关的特征。基于样本对的方法认为所有文档对是独立同分布的，这一点与实际不符，且结果不可避免地向拥有文档对较多的查询偏移。因为排序本身是对一系列对象排序列表的预测，所以最佳的学习数据应该是对象的列表而不是对象偶对或者某单个对象。

传统的列表级ListNet算法，使用两层神经网络为学习工具，并使用梯度下降法为优化方法进行求解。由于该方法使用的神经网络结构简单，且随机初始化神经网络的连接权重，所以存在易陷入局部最小和训练时间过长、不能较好逼近排序函数的问题。

当前的排序学习领域，对特征进行分析的研究较少。从信息检索排序函数的构建方式易知，构成排序函数的特征之间并不是完全独立的，如词频(TF)和逆文档频率(IDF)这两个特征本身就是BM25(一种“非二值”的概率模型)特征的组成部分，冗杂的特征造成了排序学习的速度较慢且影响排序的精确度。

发明内容

有鉴于此，本发明的目的在于提供一种结合RBM和特征选择的列表级排序学习方法。

本发明的目的是通过以下技术方案来实现的，一种结合RBM和特征选择的列表级排序学习方法，包括以下步骤：

S101、搜集数据集，将数据集分为训练集、验证集和测试集；设置多层RBM网络的结构，修改RBM神经网络隐含层和可见层的重构的方式，将训练集样本中的每个列表的文档向量以查询列表为单位，分别输入修改后的多层RBM进行预训练；

S102、将传统ListNet算法中两层线性网络替换为多层线性神经网络，用S101中预训练得到的各层RBM网络的连接权值初始化多层线性神经网络的连接权值，得到每个查询列表的初始排序模型，以及每个查询列表的初始排序函数；基于训练集，用归一化衰减累计增益(NDCG)评价每个查询列表所对应的初始排序模型在训练集上的检索质量，并保存NDCG@n值(排序结果中前n个位置文档的评价值)最大的排序模型参数和排序函数；

S103、将整个训练集数据输入S102中得到的排序模型，得到各个查询列表中文档的预测得分值；用Luce模型和前k项(TOP-k)概率模型计算出按照人工标注降序排列的序列概率p(y)和按照模型预测分数降序排列的序列概率p(z)，定义基于交叉熵的损失函数L(y,z)，利用梯度下降法进行迭代优化，微调排序函数的参数，直到损失函数的值不再减小；保存微调过程中验证集的NDCG@n取得最大值时的参数，确定未经特征选择前的最佳排序模型RM₀以及最佳多层线性排序函数RF₀；

S104、将步骤S103所得最佳多层线性排序函数RF₀的特征系数的绝对值看做特征的权重，取前K个权重最大的特征，构建新的训练集、验证集和测试集；基于新的数据集，重复执行步骤S101至S步骤S103，得到特征选择后的最佳排序模型RM₁；

S105、将步骤S104中重新构建新的测试集的数据输入特征选择后的最佳排序模型RM₁，利用已学习参数进行特征测试，对测试集进行排序，同时得到整个测试集的排序评价标准值NDCG@n。

进一步，步骤S101中：设置多层RBM网络的结构为：将数据集中特征向量的维数作为第一层RBM的节点数，设置最后一个RBM的隐含层为输出层，节点数为1。

进一步，步骤S101中：RBM神经网络隐含层和可见层的重构的方式为：用可见层和隐含层激活值代替传统的sigmoid函数的概率生成值，作为各层的输出，即：即：其中，i表示可见层节点，j表示隐含层节点，n_v表示可见层节点数，n_j表示隐含层节点数，v_i是可见层的输出，h_j为隐含层的输出，c_i为可见层的偏置，b_j为隐含层的偏置，w_ij是可见层到隐含层的连接权值，v’_i是重构后的可见层输出，h’_j为重构后的隐含层输出。