[发明专利]模拟TF-IDF相似性计算的协同过滤推荐算法

说明书

本文提出了一种推荐领域中全新的计算用户相似性的方法，该方法模拟搜索技术中常用的词频‑反文档频率（TF‑IDF）的统计方法，无需多次计算目标用户与邻居用户共同评分项值以及用户对物品的具体评分值，便可计算出用户之间的相似性。然后再利用得到的相似性，求出用户对物品的预测评分，最终做出推荐。该方法可以有效提高推荐的准确率与实时性，并且增加了推荐系统的可扩展性。

技术领域

本发明属于电子商务推荐系统领域，具体涉及信息检索技术与统计方法等，实现一种全新的相似度计算方法，该方法模拟信息检索中著名的词频-反文档频率（TF-IDF）统计方法，计算推荐算法中的用户或物品间的相似度，从而做出推荐的一种相似性计算方法。

背景技术

近年来，随着互联网技术的迅猛发展，电子商务已经成为一种新的时尚，在近些年形成飞速增长的趋势。电子商务，它是IT技术与商务行为结合所产生的一种新的商务交易过程，是21世纪市场经济商务运行的主要模式，通过电子商务平台，人们可以享受足不出户选购商品的快捷与方便。随着电子商务平台交易规模的扩大，人们通过浏览器无法在短时间内快速的浏览所有的商品，并且也缺少现实交易中售货员对顾客进行的一些产品介绍，因此人们面临了电子商务时代特有的“信息超载”问题。

针对于“信息超载”问题，推荐系统在20世纪90年代应运而生，如Google的新闻推荐、Email过滤等等。目前几乎所有的电子商务系统，都将推荐技术作为网上销售的必然组成部分，如Amazon，Netflix，豆瓣，淘宝等等。推荐系统的主要作用有：（1）诱导新客户，也就是向一个潜在的新客户推荐产品，将浏览者变成购买者；（2）鼓励老客户，也就是在客户已买的东西的基础上推荐更多产品，提高网络的交叉销售能力；（3）提升顾客对网站的忠诚度。准确率，可扩展性，实时性是评价一个推荐系统好坏与否的重要因素。传统推荐技术中一般利用余弦相似度、皮尔逊相似度等方法来计算用户相似度，而这些方法有一个共同的特点，就是需要逐个计算目标用户与每个邻居共同评分项的值，并且需要通过具体的评分值来计算用户间的相似度，因此需要耗费较多的时间，如今大多数推荐系统面临“数据过载”问题，这就使得推荐的实时性受到了挑战。而随着推荐系统的日益普及，需要应用到推荐系统的领域越来越多，传统的推荐系统无法很好的满足于其他领域。

本专利提出了一种全新的计算用户相似性的方法，该方法模拟搜索技术中常用的词频-反文档频率（TF-IDF）的统计方法，无需多次计算目标用户与邻居用户共同评分项值以及用户对物品的具体评分值，便可计算出用户之间的相似性。然后再利用得到的相似性，求出用户对物品的预测评分，最终做出推荐。该方法可以有效提高推荐的准确率与实时性，并且增加了推荐系统的可扩展性。

发明内容

本发明提出通过模拟搜索技术中常用的词频-反文档频率（TF-IDF）的统计方法，来提出一种全新的用户相似度计算方法。词频-反文档频率方法通常用在目前主流的搜索技术中去，首先计算某个词在某个文档中出现的频率，然后再找到该词在所有文档中出现的频率，用来过滤一些无意义词语如的，而且之类的助词。将二者相乘，得到最终的词语在指定文档的重要性，从而得出推荐顺序。而本发明发现推荐技术中用户相似度计算方法与搜索某个特定关键词有很大的相似性。首先计算二个用户之间共同评分的物品占二者全部评分物品的比例，之后计算邻居用户评分项目占全部物品的比例，如果该用户评分物品越多，那说明该用户对于目标用户的重要性就越低，计算二者的乘积从而得到最后二者之间的相似性。传统推荐技术中一般利用余弦相似度、皮尔逊相似度等方法来计算用户相似度，而这些方法有一个共同的特点，就是需要逐个计算目标用户与每个邻居共同评分项的值，因此需要耗费较多的时间，如今大多数推荐系统面临“数据过载”问题，这就使得推荐的实时性受到了挑战。同时随着推荐系统的日益普及，需要应用到推荐系统的领域越来越多，传统的推荐系统无法很好的满足于其他领域。本发明通过模拟TF-IDF的用户相似性算法可以无需多次计算目标用户与邻居用户共同评分项值以及用户对物品的具体评分值，便可计算出用户之间的相似性。从而可以降低推荐的计算复杂度，提高推荐的实时性和推荐领域的可扩展性。