[发明专利]一种获取矩阵中向量相似度的方法和系统

权利要求书

1.一种获取矩阵中向量相似度的方法，其特征在于，所述方法包括：

对待获取矩阵进行预处理，所述预处理包括：去除所述待获取矩阵中的零值以及出现率低于预设的出现率阈值的值；

将所述预处理后的待获取矩阵中的值按行向量的方式存储到分布式系统；

根据Map-Reduce映射-归约模型通过抽样计算所述分布式系统中任意两个行向量的相似度。

2.如权利要求1所述的方法，其特征在于，所述根据Map-Reduce映射-归约模型通过抽样计算所述分布式系统中任意两个行向量的相似度包括：

在Map阶段，按行从所述分布式系统中抽取向量对w_i、w_j；

获取所述向量对w_i、w_j的Reduce概率；

映射所述向量对w_i、w_j：((w_i，w_j)—>1)，并根据所述Reduce概率将所述映射提交到Map-Reduce模型的Reduce阶段；

在Reduce阶段，获取所述向量对w_i、w_j的和获取所述向量对的相似度，其中r_i表示(w_i，w_j)对应的映射个数，R表示文章的篇数，表示对R篇文章中(w_i，w_j)对应的映射个数进行求和。

3.如权利要求2所述的方法，其特征在于，所述获取所述向量对w_i、w_j的Reduce概率具体为：

根据公式获取所述向量对w_i、w_j的Reduce概率，其中p为Reduce概率、e为取值范围为(0，1)的预设的向量相似度阈值、#w_i为向量w_i在所述分布式系统中出现的次数；

所述在Reduce阶段，获取所述向量对w_i、w_j的和获取所述向量对的相似度具体为：在Reduce阶段，获取所述向量对w_i、w_j的和并根据公式获取所述向量对的相似度，其中((w_i、w_j)，<r₁,…,r_R>)。

4.如权利要求1所述的方法，其特征在于，所述去除出现率低于预设的出现率阈值的值包括：

对矩阵中的剩余数值按出现的频率进行降序排列，去除排列在后X位的数值，所述X为大于零的整数。

5.如权利要求4所述的方法，其特征在于，所述X为[剩余数值*预设比例]或int(剩余数值*预设比例)。

6.一种获取矩阵中向量相似度的系统，其特征在于，所述系统包括：

矩阵预处理单元，用于对待获取矩阵进行预处理，所述预处理包括：去除所述待获取矩阵中的零值以及出现率低于预设的出现率阈值的值；

矩阵存储单元，用于将经过所述矩阵预处理单元预处理的矩阵中的值按行向量的方式存储到分布式系统；

相似度获取单元，用于根据Map-Reduce模型通过抽样计算所述矩阵存储单元中存储的任意两个行向量的相似度。