[发明专利]一种基于停用词的相似文档查询方法

权利要求书

1.一种基于停用词的相似文档查询方法，其步骤包括：

1）将待查询的两文档进行归一化处理，去除文档中所有非中文字字符信息；所述两文档，其一为待查文档，另一取自一个或多个数据源；或两文档为从一个或多个数据源中提取的两文档，

2）根据分词词典对所述两个文档进行分词操作，将该些文档转化成词汇流；

3）在所述词汇流中按照书写习惯提取得到停用词；

4）将所述停用词后面的正常语义词和该停用词组合成分段信息指纹；

5）把所述分段信息指纹分别汇总形成所述两个文档的中指纹标识，并放入信息指纹库中进行比对；

6）对所述信息指纹库中指纹标识相似度进行计算，得到所述两个文档的相似度值；

7）将相似度值大于设定阈值的两文档作为相似文档，按照设定方式输出所有或部分相似文档。

2.如权利要求1所述的基于停用词的相似文档查询方法，其特征在于，所述分段信息指纹通过唯一记数器记录。

3.如权利要求1所述的基于停用词的相似文档查询方法，其特征在于，所述停用词中按照书写习惯由左到右进行提取同时去掉连续的重复词。

4.如权利要求1所述的基于停用词的相似文档查询方法，其特征在于，所述正常语义词选用至少一个以上。

5.如权利要求1或4所述的基于停用词的相似文档查询方法，其特征在于，所述正常语义词选用2个。

6.如权利要求1所述的基于停用词的相似文档查询方法，其特征在于，所述信息指纹库通过用户计算机保存至本地或上传到远端服务器。

7.如权利要求1所述的基于停用词的相似文档查询方法，其特征在于，所述停用词通过连续提取得到。

8.如权利要求1所述的基于停用词的相似文档查询方法，其特征在于，所述字符信息包括：中文标点、符号乱码。

9.如权利要求1所述的基于停用词的相似文档查询方法，其特征在于，所述指纹库中指纹标识相似度通过jaccard相似性算法计算。

10.如权利要求1所述的基于停用词的相似文档查询方法，其特征在于，所述指纹库中指纹标识相似度通过Euclidean Distances或Cosine Distance方法计算。