[发明专利]一种相似字符串检索方法

说明书

技术领域

本发明属于数据库技术领域，具体涉及一种对相似字符串数据进行检索的方法。 

背景技术

近年来，数据库领域对字符串相似性查询进行了大量研究。字符串相似性查询可以广泛应用在数据融合，数据清洗，重复性检测，自然语言处理和生物信息学中等领域中。例如，在真实世界中代表相同实体的非同源数据库记录可能会存在一些错误，建立数据仓库时需要对这些相同实体进行数据融合；在蛋白质检测中，需要快速获取新的蛋白质序列的相关信息，此时可以使用跟新的蛋白质最相似的蛋白质序列来对新的蛋白质序列进行描述；在现有的搜索引擎中，由于人的输入往往包含有错误，此时需要搜索引擎提供一些纠错功能，提示并帮助用户识别其输入中存在的错误。 

现有最新提出的解决字符串相似性查询的方法有，VChunk，asymmetric-Search和Adaptive-Search。其中，VChunk利用一种基于统计的Chunk边界字典的结构来对字符串进行拆分生成用于检索的签名。asymmetric-Search通过利用查询跟索引采用不同的签名时(一个采用gram时，另一个采用chunk)能够减少匹配项，从而达到提高性能的目的。Adaptive-Search则主要基于一个观察：通过实验观察发现，在使用前缀过滤器的时候，适当增加用于访问倒排表的gram个数可以获得性能提升。前两种方法使用的基础过滤器是前缀过滤器，传统前缀过滤器会产生大量的候选集；第三种方法意图通过增加实际用来访问倒排索引的gram数来改进传统的前缀过滤器，但是由于只是基于实验观察的启发式规则，因此其没有达到最好的性能。 

发明内容

本发明克服了现有技术中编辑距离阀值增大导致候选集过大、多种过滤器无法自适应选择、现有查询优化的量化指标不精准等缺陷，提出了一种相似字符串检索方法。 

本发明提出了一种相似字符串检索方法，包括以下步骤： 

步骤一：利用倒排索引中倒排链表之间的重合信息，获取gram辨识度指标； 

步骤二：将所述gram辨识度指标与倒排链表长度比例进行整合，形成综合指标； 

步骤三：根据所述综合指标通过泛化前缀过滤器获取候选集，通过计算所述候选集中的字符串真实的编辑距离获取检索结果。 

本发明提出了一种相似字符串检索方法，其中，在步骤一之前，先对需要被检索的字符串集合建立倒排索引，以及生成倒排索引对应的MinHash签名。 

本发明提出了一种相似字符串检索方法，其中，通过对字符串进行编号与q-gram拆分，以拆分后的gram为入口映射至包含所述gram的字符串的关系建立倒排索引。 

本发明提出了一种相似字符串检索方法，其中，根据所述字符串的长度选取哈希函数，结合所述倒排索引生成MinHash签名。 

本发明提出了一种相似字符串检索方法，其中，步骤一中gram辨识度指标由待查询字符串的gram集合中，与目标gram具有相同MinHash签名的gram个数的总和表示，所述总和不包含所述目标gram。 

本发明提出了一种相似字符串检索方法，其中，步骤二中以实际使用的倒排链表元素的个数计算倒排链表长度，并通过基于链表长度的比例按权重加和来整合所述gram辨识度指标与倒排链表长度指标，形成综合指标。 

本发明提出了一种相似字符串检索方法，其中，所述步骤三通过所述泛化前缀过滤器获取检索结果包括下述步骤： 

步骤A1：对查询字符串按gram进行拆分后，按所述综合指标将拆分后的查询字符串进行升序排序； 

步骤A2：选取字符串无重叠部分的前τ+1个gram作为基gram查询集，其中τ为距离阀值； 

步骤A3：循环添加新的gram并计算增加后的增益，直到新增的gram没有增益或者没有新的gram为止； 

步骤A4：把所有gram进行合并，并取出出现次数至少为LB次的字符串加入候选集，对所述候选集中的字符串进行真实的编辑距离计算，从而获得检索结果；其中，LB是指所述泛化前缀过滤器使用的相同gram个数的下限值。 

本发明提出了一种相似字符串检索方法，其中，所述步骤A3中的增益以下述公式表示：