[发明专利]一种基于潜在语义分析和随机投影的文本相似度计算方法

说明书

本发明公开了一种基于潜在语义分析和随机投影的文本相似度计算方法，适用于普遍的无监督文本聚类问题。本发明首先对待处理的标签文本转换为词袋模型，并利用TF‑IDF算法对其进行赋权操作得到权重向量集。然后使用LSA算法对权重向量集进行处理得到LSA索引库，再对权重向量集使用随机投影算法进行处理得到RP索引库。最后将待计算语料进行TF‑IDF处理后，再分别使用LSA算法和RP算法处理后与索引库内容比对，得到文本相似度。本发明可以对文本内容进行有效相似度计算，并通过相似度较高文本进行相关内容推荐。

技术领域

本发明属于自然语言处理领域，特别涉及一种基于潜在语义分析和随机投影的文本相似度计算方法。

背景技术

在传统的文本推荐算法中，研究者们会选择通过普通的向量空间模型等进行相似度计算。通过发掘文本间语义关联，结合潜在语义分析和随机投影为相关系统提供可靠的文本相似度计算方法。

潜在语义分析：

潜在语义分析是一种新的信息检索代数模型，是用于知识获取和展示的计算理论和方法，它使用统计计算的方法对大量的文本集进行分析，从而提取出词与词之间潜在的语义结构，并用这种潜在的语义结构来表示词和文本，达到消除词之间的相关性和简化文本向量实现降维的目的。

随机投影：

随机投影是一种简单有效的维数约减方法，它有别于一些基于表象的特征提取方法。特征提取完全独立于原始样本数据集合，不会造成数据的重大畸变。降维后的数据仍然保留了原始高维数据所包含的重要特征信息，并且不需要经过矩阵分解来求得转化矩阵，可以大大提高实时处理数据的能力。

在面向传统文本相似度比对问题时，已有论文主要利用简单共有词进行相似度比对，但该方法对文档间的语义主题关联的相似性比对效果较差。

发明内容

发明目的：针对上述问题，本发明提供一种基于潜在语义分析和随机投影的文本相似度计算方法，改变了传统计算方法的局限性，利用多种降维方式对向量空间进行降维，有效提高了结果的准确性和可靠性。

技术方案：本发明提出一种基于潜在语义分析和随机投影的文本相似度计算方法，包括如下步骤：

(1)将tag向量化得到词条标签向量集V1，并对其使用TF-IDF算法得到标签权重向量集V2；

(2)对V2使用LSA算法得到LSA模型M1和索引库I1；

(3)对V2使用随机投影算法得到RP模型M2和索引库I2；

(4)对待处理语料使用TF-IDF处理，并进行LSA和RP处理，得到最终的推荐集。

进一步的，所述步骤(1)中得到标签权重向量集V2的具体步骤如下：

(1.1)定义D1为百科词条数据集，D1＝{id1,title1,paragraph1,image1,url1,tag1}，其中id1,title1,paragraph1,image1,url1,tag1分别表示编号、标题、段落、图片链接、网页链接和词条标签；

(1.2)通过对tag1使用split方法得到T1＝{w_i1,w_i2,…,w_in}，w_iA是百科词条数据集第A个词条标签集，其中，变量A∈[1,n]；

(1.3)通过对T1使用Dictionary方法得到词典Dict1；

(1.4)将词典Dict1保存至本地；