[发明专利]一种基于多重余弦定理的文章相关度计算方法

说明书

本发明涉及一种基于多重余弦定理的文章相关度计算方法，属于信息处理技术领域。本发明将文章映射为实意词向量和关键词向量，并重新规划词权重，再利用多重余弦定理对现阶段的文章相关度计算方法进行改进。摒弃单纯利用TFIDF值做词权重的方法，而是创新性地将TFIDF值、词频、词性、词长等加权累加；另一方面，对文章计算其相关度还使用了多重余弦定理，分别对其计算实意词相关度和关键词相关度，再由相关定义确定其最终相关度。本发明与现有技术相比，主要解决了现有技术准确性欠佳、分类易出错、灵活性差等现象，增加了目前利用计算机对文章相关度计算的准确性。

技术领域

本发明涉及一种基于多重余弦定理的文章相关度计算方法，属于信息处理技术领域。

背景技术

文章相关度的计算是信息处理领域中的一项基本研究工作，主要应用于文章分类、推荐等。

目前，对文章相关度的研究方法主要分为两类：基于统计学和基于语义分析。这两类方法都有各自的优缺点，其中基于统计学的方法需要大量文章作为训练，基于语义分析的方法则需要提前准备较为完整的语义词典。但是现阶段，利用计算机对文章相关度的计算这一技术并不成熟，准确性欠佳、灵活性差等现象一直存在，在很多情况下还需要人工对其进行计算、估计。

发明内容

本发明要解决的技术问题是针对现有技术的局限和不足，提供一种基于多重余弦定理的文章相关度计算方法，主要解决利用计算机对文章相关度的计算这一技术准确性欠佳、灵活性差等现象。

本发明的技术方案是：一种基于多重余弦定理的文章相关度计算方法，该方法具体包括以下步骤：

Step0：获取文章集合{X₁,X₂…X_p}，对文章X,X∈{X₁,X₂…X_p}进行预处理，并建立文章数据库，具体如Step0.1～Step0.4所示；

Step0.1：对文章X进行分词、去停用词、同义词替换等操作，生成文章的实意词集合X:{x₁,x₂…x_m}；

Step0.2：以TFIDF值为主，该文章中出现该词的词频、词性、词长为辅，遍历Step0.1中得到的实意词集合X:{x₁,x₂…x_m}，对每个实意词x_i,i∈[1,m]求其权重，并生成实意词权重集合Y:{y₁,y₂…y_m}；

Step0.3：以实意词x_i,i∈[1,m]为key，权重y_i,i∈[1,m]为value，对Step0.2中得到的实意词权重y_i,i∈[1,m]排序，选取权重最高的n个实意词作为关键词，并生成关键词集合X':{x₁',x₂'…x_n'}和关键词权重集合Y':{y₁',y₂'…y_n'}；

Step0.4：将文章X、实意词集合X:{x₁,x₂…x_m}、实意词权重集合Y:{y₁,y₂…y_m}、关键词集合X':{x₁',x₂'…x_n'}及关键词权重集合Y':{y₁',y₂'…y_n'}作为元组加入文章数据库；

Step1：从文章数据库中获取待比较文章T和比较文章H；