[发明专利]基于奇异值分解算法的聚类协同过滤推荐系统

说明书

本发明提出一种基于奇异值分解算法的聚类协同过滤推荐技术，通过利用本发明中提出的用户属性特征值将用户先分类，降低用户‑商品评分矩阵的维度；然后将在图像处理与自然语言处理中常用的奇异值分解(SVD)算法加以改进，并利用到推荐系统当中去。将用户所在聚类中的评分矩阵分解后聚合，从而填充矩阵中未评分项的预测得分，并且利用该填充矩阵计算同一聚类中用户间的相似度，最后利用在推荐系统中应用广泛的基于用户协同过滤技术计算最终商品的预测评分，并做出最终的推荐。该发明可以提高系统推荐效率，解决推荐系统数据稀疏性等问题，同时可以提高系统的推荐准确率。

技术领域

本发明属于电子商务推荐系统领域，具体涉及集成多种技术，如数据挖掘技术、机器学习技术、自然语言处理技术等，实现将聚类与奇异值分解(SVD)技术结合的一种推荐方法。

背景技术

近年来，随着互联网技术的迅猛发展，电子商务已经成为一种新的时尚，在近些年形成飞速增长的趋势。电子商务，它是IT技术与商务行为结合所产生的一种新的商务交易过程，是21世纪市场经济商务运行的主要模式，通过电子商务平台，人们可以享受足不出户选购商品的快捷与方便。随着电子商务平台交易规模的扩大，人们通过浏览器无法在短时间内快速的浏览所有的商品，并且也缺少现实交易中售货员对顾客进行的一些产品介绍，因此人们面临了电子商务时代特有的“信息超载”问题。

针对于“信息超载”问题，推荐系统在20世纪90年代应运而生，如Google的新闻推荐、Email过滤等等。目前几乎所有的电子商务系统，都将推荐技术作为网上销售的必然组成部分，如Amazon，Netflix，豆瓣，淘宝等等。推荐系统的主要作用有：(1)诱导新客户，也就是向一个潜在的新客户推荐产品，将浏览者变成购买者；(2)鼓励老客户，也就是在客户已买的东西的基础上推荐更多产品，提高网络的交叉销售能力；(3)提升顾客对网站的忠诚度。准确率，可扩展性，实时性是评价一个推荐系统好坏与否的重要因素。然而随着人们越来越热衷于网上购物，目前的推荐系统面临着“信息超载”的问题，由于系统中的数据量过于庞大，导致目前的一些推荐技术不能实时快速有效的做出推荐；与此同时，一个一直困扰着推荐系统的问题就是局部数据稀疏性问题，尽管一个系统中的数据量极大，但是对于每个单一用户，其浏览与购买的商品所占系统中总的商品数的比例实在太小，这就导致计算用户相似度的问题上无法做到准确有效，这样大大的影响了推荐的结果。因此如何解决上述两个问题成为了推荐系统亟待解决的主要问题。

本专利采用基于奇异值分解算法的聚类协同过滤推荐技术，通过将用户先分类，降低用户-商品评分矩阵的维度，然后利用奇异值分解(SVD)算法，在用户所在聚类中将评分矩阵分解后聚合，从而填充矩阵中的未评分项的预测得分，最后通过协同过滤技术做出最终的推荐。该技术可以提高系统推荐效率，解决推荐系统数据稀疏性等问题并且可以提高系统的推荐准确率。

发明内容

本发明提出通过利用聚类算法与奇异值分解(SVD)算法相结合的技术来改善推荐系统的推荐效率与准确率。导致传统推荐系统推荐效率较低的主要原因是由于推荐系统中存在的用户数与商品数量过多，而传统的推荐系统必须通过计算每两个用户或商品之间的相似性，来找出与指定用户或者商品相似度最高的k个最近邻来做出推荐，由于计算量过于庞大，而且不是每一次的计算都是必要的，因此导致推荐效率降低；导致传统推荐系统推荐准确率较低的主要原因是由于尽管一个系统中的数据量很庞大，但是对于每个单一用户，其浏览与购买的商品所占系统中总的商品数的比例实在太小，这种局部数据稀疏性就导致计算用户相似度的问题上无法做到准确有效，这样大大的影响了推荐的准确率。本发明通过聚类算法解决推荐效率问题，而利用SVD算法解决局部数据稀疏性问题，从而改善推荐结果。

本发明技术方案分为如下几个基本的执行步骤：

步骤一：利用用户特征值，包括性别、年龄、职业，将系统中已有用户分到n个聚类中去，并且计算出每个聚类的聚类中心值；