[发明专利]一种基于多权重体系的中文文档基因匹配方法

说明书

本发明针对中文文档基因匹配，面向文档逃避检查场景，提出了面向28种混合文档基因特征的匹配方法，特别是首次引入多权重体系，体现体系间与体系内的基因差异化考虑，形成了统一的相似度计算公式。基于本发明的文档基因匹配方法，可精细化配置权重，减少算法条件跳转过程，可实现性和实际应用性较强。

技术领域

本发明属于文档相似度与去重技术领域，具体涉及一种基于多权重体系的中文文档基因匹配方法。

背景技术

互联网高速、海量的数据中包含着错综复杂、种类繁多的文档。同一个文档在互联网传播的过程中，会存在对文档内容进行增删等部分修改的情况，也就产生了针对相同内容的文档变种。这对文档的匹配、溯源和传播分析等问题都造成了一定程度的障碍和挑战。

文档基因是解决上述问题的一个重要技术手段，它主要指通过对文档抽取若干特征并进行有效组合，形成为文档本质刻画的相对唯一的表征。目前对文档基因的特征分类，主要有几种：第一类是文档载体特征，主要指文件名称、文件大小、文件创建时间、文件修改时间和文件哈希值（包括MD5、SHA1、SHA265和SHA512）特征；第二类是文档属性特征，主要指固有属性和统计属性，固有属性包括文档类型、文档标题、文档类别、文档备注、文档作者、文档修订号和文档最后一次保存者，统计属性包括文档字数、文档句数和文档段数；第三类是文档内容特征，主要是指语义要素和顺序关系，语义要素包括摘要、分词、关键词、短语、命名实体、依存句法和局部敏感哈希（包括MinHash和SimHash），顺序关系包括段间关系、句间关系。

由于具体应用的不同，目前存在的文档基因匹配算法并未利用以上所有28种基因特征。此外，文档基因相似度计算方法中，大多采用相似度加权和的方法。换句话说，虽然各种特征的权重不同，但是仍然属于一种权重体系，即 。然而在部分实际应用中，有些因子起到决定性的匹配作用，不能归属一个统一的权重体系来计算。例如，文件Hash特征的权重应该独立为1，而不是与其他特征在一个权重体系内共享。

因此，本发明针对中文文档基因匹配，面向文档逃避检查场景，提出了面向28种混合文档基因特征的匹配方法，特别是首次引入多权重体系，体现体系间与体系内的基因差异化考虑，形成了统一的相似度计算公式。基于本发明的文档基因匹配方法，可精细化配置权重，减少算法条件跳转过程，可实现性和实际应用性较强。

发明内容

本发明针对中文文档基因匹配，面向文档逃避检查场景，提出了面向28种混合文档基因特征的匹配方法，特别是首次引入多权重体系，体现体系间与体系内的基因差异化考虑，形成了统一的相似度计算公式。基于本发明的文档基因匹配方法，可精细化配置权重，减少算法条件跳转过程，可实现性和实际应用性较强。

本发明的内容主要包括以下几个方面。

第一，在权重选取上，本发明提出了一种多权重体系。如表1所示。