[发明专利]基于知识图谱的推荐方法及装置

说明书

本申请公开了人工智能领域的一种基于知识图谱的推荐方法，包括：获取多个历史点击对象及多个历史点击对象中每个历史点击对象的邻居对象；根据多个历史点击对象及多个历史点击对象中每个历史点击对象的邻居对象获取当前状态参数；根据知识图谱、所有对象和多个历史点击对象确定候选推荐对象集；根据当前状态参数计算得到候选推荐对象集中每个候选推荐对象的期望值，并将最大期望值对应的候选推荐对象确定为目标推荐对象。本申请的推荐方法适用于各种推荐相关的应用场景，如APP应用市场的APP推荐，音/视频网站的音/视频推荐，资讯平台的资讯推荐等。采用本申请实施例有利于提高推荐效率和准确率。

技术领域

本申请涉及人工智能领域，尤其涉及一种基于知识图谱的推荐方法及装置。

背景技术

推荐与搜索属于人工智能领域的重要研究方向之一。在对于个性化推荐系统的构建目标中，最重要的是准确预测用户对于特定物品的需求或偏好喜好程度，并基于判断结果为其进行相应的推荐，这不仅影响到用户体验，同时直接影响到企业相关产品的收益，如使用频率或者下载、点击量。因此，对用户行为需求或偏好的预测具有重要意义。目前基础、主流的预测方法都是基于监督学习(supervised learning)的推荐系统模型。用基于监督学习建模的推荐系统主要问题是：(1)监督学习将推荐过程看作是一个静态的预测过程，用户的兴趣爱好不随时间改变，但是，实际上推荐应该是一个动态的序列决策过程，用户的兴趣爱好可能随时间而改变。(2)监督学习最大化推荐结果的即时奖励，如点击率，而很多时候，那些即时奖励较小但未来奖励很大的物品也应该被考虑。

近年来，强化学习在许多动态交互、长期规划的场景中，取得了巨大的突破，如无人驾驶、游戏。常规的强化学习方法包括基于值的方法和基于策略的方法。其中，基于值的强化学习方法学习推荐系统是首先训练学习得到Q函数；然后根据当前状态，计算所有动作待推荐对象的Q值；最后在进行推荐时选取Q值最大的动作对象进行推荐。基于策略的强化学习方法学习推荐系统是首先训练学习得到策略函数；然后根据当前状态，策略决定最优动作对象进行推荐。由于基于值的强化学习方法学习推荐系统和基于策略的强化学习方法学习推荐系统在进行推荐时，都需要遍历所有的动作推荐对象，计算每一个待推荐对象的相关概率值，这是非常耗时，效率低下。

发明内容

本申请实施例提供一种基于知识图谱的推荐方法及装置，通过历史点击对象及基于知识图谱获取的历史点击对象的对象获取当前状态参数，使得当前状态参数中不仅包含用户的历史偏好，包含了邻居节点的信息，从而提高了模型的表征范围和能力，能更加准确地捕捉用户兴趣爱好，提高了推荐结果的精确性；通过基于知识图谱和历史点击对象从所有对象中获取推候选推荐对象集合，避免了在推荐对象时遍历所有对象，从而有利于提高推荐效率。

第一方面，本申请实施例提供一种基于知识图谱的推荐方法，包括：

获取多个历史点击对象及多个历史点击对象中每个历史点击对象的第一邻居对象，每个历史点击对象的第一邻居对象包括在知识图谱上与该历史点击对象k阶内相邻的对象；k为大于0的整数；其中，历史点击对象的k阶内相邻的对象中的k阶用于表征k阶内相邻的对象与该历史点击对象的关联程度，k值越小，则对应的关联程度越高；根据多个历史点击对象和每个历史点击对象的第一邻居对象获取当前状态参数；根据知识图谱、所有对象和多个历史点击对象确定候选推荐对象集，候选推荐对象集包括上述多个历史点击对象和第二邻居对象，该第二邻居对象包括在知识图谱中与多个历史点击对象中每个历史点击对象m阶内相邻的对象，所有对象包括多个历史点击对象及其每个历史点击对象的第一邻居对象；m为大于0的整数；根据当前状态参数计算得到候选推荐对象集中每个候选推荐对象的期望值，并将最大期望值对应的候选推荐对象确定为目标推荐对象。

其中，历史点击对象为在此之前推荐给用户的，且被用户点击过的对象。比如向用户推荐的对象为应用，且用户点击下载过该应用或者用户点击查看该应用的详情，则该应用为历史点击对象。

可选地，期望值可以为期望收益、可以为Q值，还可以为概率。