[发明专利]一种获取矩阵中向量相似度的方法和系统

说明书

技术领域

本发明属于算法领域，尤其涉及一种获取矩阵中向量相似度的方法和系统。

背景技术

现实生活中，人们往往会遇到将物品进行分类的问题，比如：将电脑、手机和MP3分类为电子产品，而如果要使计算机对物品进行分类，则需要根据物品之间的相似度进行分类，将相似度高于预设的阈值的两件物品归为一个类别，即将分类问题转化为求相似度的问题。

假设现在有M篇不同的文章，每篇文章由L个互不重复的单词(以英文文章为例，如果是中文文章，则为互不重复的字)组成，如果要找出这些文章中任意两个单词w_i和w_j的相似度，现有技术是将这M篇文章组成一个M行N列的矩阵，N为M篇文章中所有出现的单词的个数，其中N≥L。对于大规模数据的处理一般使用Map-Reduce映射-归约模型来处理。在Map阶段，如果一篇文章中同时存在w_i和w_j，则将w_i和w_j进行映射，记为(w_i，w_j—>1)<i>，i表示w_i和w_j两者映射的个数，其中i的取值为(1，M)；如果一篇文章中未同时存在w_i和w_j，则将w_i和w_j进行映射，记为(w_i，w_j—>0)；在Reduce阶段，对映射进行求和，并除以根号下M篇文章中w_i和w_j分别出现的次数的乘积，从而得到w_i和w_j的相似度。现有技术整个算法的复杂度为O(M*N²)，当M的数值特别巨大时(如10¹⁰)，耗费的计算量相当大。

发明内容

鉴于此，本发明实施例提供一种获取矩阵中向量相似度的方法和系统，以解决现有技术相似度计算过程中计算量巨大的问题。

本发明实施例是这样实现的，一种获取矩阵中向量相似度的方法，所述方法包括以下步骤：

对待获取矩阵进行预处理，所述预处理包括：去除所述待获取矩阵中的零值以及出现率低于预设的出现率阈值的值；

将所述预处理后的待获取矩阵中的值按行向量的方式存储到分布式系统；

根据Map-Reduce映射-归约模型通过抽样计算所述分布式系统中任意两个行向量的相似度。

进一步的，

所述根据Map-Reduce映射-归约模型通过抽样计算所述分布式系统中任意两个行向量的相似度包括：

在Map阶段，按行从所述分布式系统中抽取向量对w_i、w_j；

获取所述向量对w_i、w_j的Reduce概率；

映射所述向量对w_i、w_j：((w_i，w_j)—>1)，并根据所述Reduce概率将所述映射提交到Map-Reduce模型的Reduce阶段；

在Reduce阶段，获取所述向量对w_i、w_j的和获取所述向量对的相似度，其中r_i表示(w_i，w_j)对应的映射个数，R表示文章的篇数，表示对R篇文章中(w_i，w_j)对应的映射个数进行求和。

进一步的，所述获取所述向量对w_i、w_j的Reduce概率具体为：

根据公式获取所述向量对w_i、w_j的Reduce概率，其中p为Reduce概率、e为取值范围为(0，1)的预设的向量相似度阈值、#w_i为向量w_i在所述分布式系统中出现的次数；