[发明专利]一种海量非结构化文本的相似性计算方法

摘要

本发明公开了一种海量非结构化文本的相似性计算方法。该方法基于传统的Simhash算法进行改进，克服了传统的文本相似性计算方法中准确率不够、计算效率不高的问题。其相似性计算得方法步骤为：（1）、获取所需非结构化数据信息，对数据进行预处理；（2）、对文档内容进行分词，去除停用词，提取关键词，计算每篇文档中每个关键词的特征值权重；将关键词进行二进制化；（3）、累计求解，二进制降维得到每篇文档的改进Simhash值；通过计算两个Simhash值的海明距离得到两篇文档的相似度。

主权项

一种海量非结构化文本的相似性计算方法，其特征在于，具体操作步骤如下：步骤一，获取多源异构非结构化数据信息，对其进行统一的预处理：首先使用Tika将所有异构的文档转换成统一结构形式的文档，然后对处理后的文档集按照标点符号循环分成字符串集，同时判断是否存在标记符，有标记符的除去标记符，以<key，value>的形式存储在HDFS中，其中key为文档编号，value为文档内容；步骤二，对文档数据进行分词、计算特征值权重、关键词二进制化：使用ICT‑CLAS分词技术对文档内容进行分词处理，同时按照停止词词典除去停用词，提取其中的关键词使文档离散化，将文档转化为一组特征值；步骤三，采用改进特征权重计算方案计算特征值权重，并对于每篇文档的关键词进行二进制化处理；其中改进的特征权重计算方式如下：W＝0.5×TF‑IDF+0.5×γ(w_ni+Len(w_i))   (1)在公式(1)中，TF‑IDF的值由上文中的如下公式计算得到：$TF-IDF=\left(0.5\right(\frac{TFx}{TFmax})+0.8(\frac{K_n}{K_1}\left)\right)\&times;log\frac{\left|D\right|}{1+\left|\right\{j:t_i\&Element;d_j\left\}\right|}---\left(2\right)$在公式(2)中，TFx表示关键词x在文档中出现的词频，TFmax表示某个关键词在特定文档中出现的最大词频；Kn表示某个位置的关键系数，其中，n为1或者2，K₁表示标题的关键系数，K₂表示文档内容的关键系数；在公式(1)中，γ为参数，取值与文档长度有关，Len(w_i)定义如下：步骤四，改进的Simhash指纹值计算：通过上一步的hash生成结果，按照特征值的权重形成加权字符串，进而通过二进制化得到改进的Simhash指纹值；步骤五，海明距离计算：对计算得到的Simhash指纹值使用带索引功能的海明距离来检测文档之间的相似程度。