[发明专利]一种基于逆强化学习的人在回路新闻推荐方法

说明书

本发明公开了一种基于逆强化学习的人在回路新闻推荐方法，属于数据分析与挖掘技术领域。首先为推荐系统初始化一个推荐策略，并计算出初始策略的期望；专家根据用户信息和新闻内容提供推荐方式，根据专家提供的推荐方式计算出专家推荐方式的期望；根据约束条件求解出最优的奖励函数的权重参数，用于更新奖励函数；然后让推荐系统根据更新后的奖励函数进行强化学习，得到当前奖励函数下的最优策略，并计算得到该策略推荐方式的期望，将该期望与专家推荐方式期望进行比较，若差距大于设定阈值，则继续按照上述方式更新奖励函数，否则停止迭代，得到当前最优的奖励函数，可以用该奖励函数进行强化学习新闻推荐。

技术领域

本发明涉及数据分析与挖掘技术领域，具体涉及一种基于逆强化学习的人在回路新闻推荐方法。

背景技术

随着互联网普及程度的不断提高，信息过载的问题日趋明显，简单的信息检索已经无法满足用户对个性化搜索的需求，推荐系统在日常生活中的应用越来越常见，推荐系统能够对信息进行有效的过滤和筛选，帮助用户高效地检索到符合其个性化需求的信息，以此来缓解信息过载的问题，目前已经广泛应用到了电子商务、社交网络、教育、音乐等多个领域。

早期的推荐系统方法是运用了传统的推荐算法。例如基于内容的推荐方法，主要是通过提取用户的历史记录和对产品的评价摄政作为用户的偏好，同时对产品进行特征提取和表示，通过比较计算得到用户的特征偏好和产品特征的匹配程度进行推荐。这样传统的推荐算法缺乏特征提取的方法，容易忽略推荐的典型性，在实际应用场景中由于推荐过程比较复杂应用效果不佳。

近期研究人员也尝试将深度学习技术与推荐技术相结合以客服传统推荐技术遇到的一些障碍，进而实现更准确高效的推荐。例如基于循环神经网络的推荐方法，使用长短时记忆网络和门控循环单元对用户特征、用户和文章的匹配度进行计算，对推荐的新闻进行排序，能用更少的参数量为用户提供更加准确的推荐服务。但上述方法主要存在难以对用户和项目的特征进行动态建模的问题，同时在数据规模较大时，难以进行实施推荐也是一个亟待解决的问题。因此，如何根据用户的偏好变化动态地为用户推荐产品是目前推荐系统领域亟待解决的关键问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于逆强化学习的人在回路新闻推荐方法，为了根据用户的偏好变化动态地为用户提供实时的新闻推荐，本方法首先为推荐系统初始化一个推荐策略，并计算出初始策略的期望；专家根据用户信息和新闻内容提供推荐方式，根据专家提供的推荐方式计算出专家推荐方式的期望；根据约束条件求解出最优的奖励函数的权重参数，用于更新奖励函数；然后让推荐系统根据更新后的奖励函数进行强化学习，得到当前奖励函数下的最优策略，并计算得到该策略推荐方式的期望，将该期望与专家推荐方式期望进行比较，若差距大于设定阈值，则继续按照上述方式更新奖励函数，否则停止迭代，得到当前最优的奖励函数，可以用该奖励函数进行强化学习新闻推荐。

为实现上述目的，本发明采用如下技术方案：

一种基于逆强化学习的人在回路新闻推荐方法，包括以下述步骤：

(1)为推荐系统随机初始化一个推荐策略，并计算出初始策略的期望，包括如下子步骤：

(1.1)随机为推荐系统初始化一个推荐策略。通过随机生成强化学习模块的参数为推荐系统随机初始化一个初始推荐策略。所述强化学习模块即为用于得到推荐新闻的模块；

(1.2)向强化学习模块中输入用户最近浏览过的10篇新闻和待推荐给用户的10篇新闻，输出一个10维向量，表示待推荐的10篇新闻被推荐给用户的概率；

(1.3)将待推荐的10篇新闻分别送进一个长短期记忆网络得到每篇新闻的特征向量，将待推荐的10篇新闻中每篇新闻的特征向量与步骤(1.2)中得到的概率对应相乘相加得到随机初始化推荐策略的期望。

(2)专家根据用户信息和新闻内容提供推荐方式，根据专家提供的推荐方式计算出专家推荐方式的期望，具体步骤如下：