[发明专利]一种基于强化学习的个性化搜索方法

说明书

本发明涉及一种基于强化学习的个性化搜索方法，其特征在于包括以下步骤：建立的基于强化学习的个性化搜索模型，基于所有用户的历史查询数据，采用强化学习中的策略梯度算法对个性化搜索模型进行训练，得到最优个性化搜索模型；采用最优个性化搜索模型对线上用户的查询过程进行动态跟踪，根据各用户新的查询日志对最优个性化搜索模型进行持续更新，使得更新后的最优个性化搜索模型能够生成符合相应用户兴趣的个性化搜索结果。本发明利用强化学习来解决个性化搜索的问题，通过跟踪用户查询的整个过程，更好地学习动态变化的用户兴趣并实时地更新排序模型以适应这种动态的用户兴趣。本发明可以广泛应用于个性化搜索领域。

技术领域

本发明涉及一种基于强化学习的个性化搜索方法，属于数据挖掘领域。

背景技术

在日常生活中，搜索引擎的应用越来越广泛，人们对于搜索结果的要求也越来越高。搜索结果个性化对于有歧义的查询来说非常重要，针对同一个查询为具有不同兴趣爱好的用户返回不同的搜索结果可以极大地提升用户使用搜索引擎的体验。

个性化搜索是为了解决用户输入的查询具有歧义这一普遍存在的问题而提出的，主要是基于用户的兴趣针对同一个查询为不用的用户返回不一样的检索结果。那么，实现个性化搜索的关键就在于如何挖掘用户的兴趣并为用户建立兴趣画像。目前建立用户兴趣画像的方法有很多，根据用户兴趣画像是否是基于学习获得可以将现有方法分为以下两大类：传统个性化搜索模型和基于学习的个性化搜索模型。

传统的个性化搜索模型主要采用两种方法来获得用户兴趣画像。一种是利用话题模型(Topic Model)从用户历史点击过的文档中抽取话题，并根据这些话题在话题空间中建立用户的兴趣画像。另一种则是采用特征工程，从用户的查询历史中抽取一系列的特征来构成用户兴趣的表示向量。然而，这些传统方法都是基于经验对用户兴趣进行建模，对于特征合理性和有效性的要求极高，而且得到的兴趣向量涵盖范围也很有限。

为了解决这些问题，一系列基于学习(深度学习)的个性化搜索模型陆续被提出。其中一部分模型不显式地设计特征来表示用户兴趣，而是直接从用户的查询日志中学习得到用户兴趣的表示向量；还有一部分模型则是直接利用单个用户的查询日志作为训练数据来训练满足个性化搜索的个人搜索模型。此外，目前已经有一些研究工作将强化学习应用于推荐系统和学习排序等问题。

然而，目前已有的个性化搜索模型都是基于监督学习设计的，在这些研究工作中，用户的历史查询过程不分先后顺序地被看做是一系列静态查询的集合，首先基于这个集合中的数据训练一个个性化搜索模型，然后将训练好的静态模型应用于后续的查询，短时间内不再进行更新。这样的个性化搜索模型会有两个问题，首先是用户的查询过程本身是一个序列化的动态交互过程，在每一次交互中，用户通过输入查询并作出点击来表示自己的兴趣，而用户兴趣本身在整个查询过程中也是动态变化的。但是现有的个性化搜索模型把这个查询过程静态化了，难以捕捉到用户兴趣动态变化的过程，不利于用户兴趣的学习。其次是目前的工作都是将模型在静态数据集上训练完成之后加以应用，在短期内不再进行更新，这样的模型很难适应与动态变化的用户兴趣。

另外，现有的为推荐系统设计的强化学习模型过分考虑了推荐系统的任务特点，难以直接嫁接到个性化搜索问题上。

发明内容

针对上述问题，本发明的目的是提供一种基于强化学习的个性化搜索方法，该方法建立了一个能够跟踪用户查询过程并实时更新的个性化搜索模型，能够利用强化学习更好地学习动态变化的用户兴趣，因而能够得到更符合用户需求的搜索结果。

为实现上述目的，本发明采取以下技术方案：一种基于强化学习的个性化搜索方法，包括以下步骤：

1)建立基于强化学习的个性化搜索模型；

2)基于所有用户的历史查询数据，采用强化学习中的策略梯度算法对建立的基于强化学习的个性化搜索模型进行训练，得到最优个性化搜索模型；