[发明专利]一种大数据相似文本去重预处理方法、装置及终端设备

摘要

本发明公开了一种大数据相似文本去重预处理方法、装置及终端设备，该方法包括步骤1，对文本集合S中的每个文本T进行分词，并建立倒排索引，步骤2，筛选词语集合W中的词语出现的频数大于阈值的高频词语标记为关键词，步骤3，制定关键词属性v的生成规则并得到每个关键词的属性v，步骤4，根据文本集合S中文本的关键词属性v建立的B+树，对文本进行分类。通过对文本集合进行预处理，划分为子集后，减小计算范围的同时，可以并行计算相似度，减小相似度计算数据量，提高了相似文本去重计算的效率。