[发明专利]基于分布式矩阵分解特征提取的社交网络垃圾过滤方法

摘要

本发明涉及网络垃圾过滤技术领域，特别涉及一种基于分布式矩阵分解特征提取的社交网络垃圾过滤方法，包括以下步骤步骤S1构造社交网络用户‑属性矩阵；步骤S2基于分布式矩阵分解对所述社交网络用户‑属性矩阵进行特征提取；步骤S3对潜在特征向量进行分类，判断是否为社交网络垃圾。该方法有利于高效地过滤社交网络中的垃圾数据。

主权项

一种基于分布式矩阵分解特征提取的社交网络垃圾过滤方法，其特征在于，包括以下步骤：步骤S1：构造社交网络用户‑属性矩阵；步骤S2：基于分布式矩阵分解对所述社交网络用户‑属性矩阵进行特征提取；步骤S3：对潜在特征向量进行分类，判断是否为社交网络垃圾；在步骤S1中，社交网络用户‑属性矩阵的构造方法如下：假设有n个用户，m个属性，则社交网络用户‑属性矩阵构造为已知社交网络中n个用户集合和m个属性集合Aij表示用户ui对属性vj的度量值，由此构造社交网络用户‑属性矩阵A∈Rn×m：所述社交网络用户‑属性矩阵是稀疏矩阵；在步骤S2中，对所述社交网络用户‑属性矩阵进行特征提取的方法如下：假定存在用户特征矩阵W∈Rn×K和属性特征矩阵H∈RK×m，其中K＝{1,…,k,…,K}为特征数；则社交网络用户‑属性矩阵A中的任意元素Aij可以近似由WiHj得到，即Aij≈WiHj，因此可得：Am×n＝Wm×k*Hk×n采用分布式矩阵分解算法将分解问题转换为最优化问题求解，选择目标函数：F=ΣiΣj(Aij-(WH)ij)2]]>上式即为优化目标的代价函数；对W的任一元素求导，有：∂F∂Wiu=-2((AHT)iu-(WHHT)iu)]]>采用随机梯度下降法进行分布式矩阵分解，其迭代格式为：H←H.*WTAWTWH]]>W←W.*AHTWHHT]]>其中，.*是矩阵对应元素之间的运算；对W按行分块，对H按列分块，具体格式如下：W=w1...wi...wm]]>H＝(h1 … hj … hn)将H更新过程拆分为三个部分，分别为：(1)X＝WTA，(2)Y＝WTWH，(3)结合分块方案，通过适当的MapReduce过程求解各个部分；同理，将W更新过程拆分为三个部分，分别为：(1)X＝AHT，(2)Y＝WHHT，(3)结合分块方案，通过适当的MapReduce过程求解各个部分。