[发明专利]一种基于上下文关联的中文相似性比较方法

摘要

本发明提出一种基于上下文关联的中文相似性比较方法，应用于中文相似性比较技术领域，该方法首先将要进行比较的两篇文本的文本流进行分词和索引，为每一个文本建立倒排表，然后对倒排表进行相似性检测，得到可疑相似片段，最后对可疑相似片段进行聚合，得到相似文本块，在相似文本块的生成过程中考虑到上下文的关联。本发明方法先发现较小可疑相似片段，再对可疑相似片段进行聚合，减少了空间向量模型中粒度大小与误判、漏判率之间的矛盾，实现对两篇文本的相似性比较。

主权项

1.一种基于上下文关联的中文相似性比较方法，其特征在于，该方法具体包括如下步骤：步骤1、首先将要进行比较的两篇文本S和D的文本流进行分词，然后为每一个文本建立倒排表，具体是：通过词汇内容建立索引，将词汇本身作为索引的键，词汇在文本中的位置作为索引值；步骤2、对倒排表进行相似性检测，得到可疑相似片段，具体是：步骤2.1、首先使用倒排表对中心词进行映射：若词X同时在文本S的倒排表和文本D的倒排表中出现，则在文本S的倒排表和文本D的倒排表中建立词X的关系映射，并得到以词X作为中心词、以r作为半径，长度n＝2r+1的一对可疑相似片段；步骤2.2、以n个词作为一个粒度对两篇文本S和D进行相似性检测，并确定每一对可疑相似片段的相似度；步骤2.3、确定文本S和文本D的相似值R_S，D表示文本S对文本D的相似度，R_D，S表示文本D对文本S的相似度；步骤3、对可疑相似片段进行聚合，生成相似文本块。