[发明专利]一种基于高维数据过滤器的近似成员查询方法

摘要

本发明公开了一种基于过滤器的高维数据近似成员查询方法，通过定义新的距离敏感哈希函数来分别表征目标数据集合中的多维数据和待查询的多维数据，不需要重新构造过滤器，能够支持更多的过滤距离参数的近似成员查询，大幅度减少了空间代价，通过使用多个函数组数，且每个函数组数包含多个函数，在最终确认是否目标数据集合Ω的近似成员时使用“与－或”结合的方式进行判断，能够降低过滤器的假阴性率，同时，本发明通过构建一个实体校验器，通过校验，大大降低了不同过滤距离参数过滤器的假阳性率。

主权项

一种基于过滤器的高维数据近似成员查询方法，其特征在于将目标数据集合定义为Ω，并将距离敏感哈希函数H定义为其中t＝1,2,…,k，j＝1,2,…,L，L为函数组数，k为每一函数组中的函数个数，o是多维数据，at,j是与o维数相同的随机向量，其每一维的数据符合标准正态分布，·是点积运算，2θw是距离过滤参数，θ＝0,1,2,…,S‑1，S为过滤距离的种类数，w是正实数定义的最小距离过滤参数，是下取整运算，然后进行以下步骤的操作：(1)构建一个容量为m，地址为0到m‑1的位向量，定义为BMLBF，并设定BMLBF[i1]＝0，i＝0,1,2,…,m‑1；(2)构建一个容量为m′，地址为0到m′‑1的位向量，定义为MVBF，并设定MVBF[i2]＝0，i2＝0,1,2,…,m′‑1；(3)对目标数据集合Ω中的任意一个多维的数据oy，用θ＝0时的距离敏感哈希函数进行表征，即其中y＝1,2,…,n，并在BMLBF中k×L个位置置1，即(4)将目标数据集合Ω中的每一个数据oy的第j组的k个哈希值，即转换成2进制字符串，并定义为et,j，其中t＝1,2,…,k，以其中最长的一个2进制字符串长度为标准字符串长度，在其余的2进制字符串前添加0来使其达到标准字符串长度；(5)将et,j分为两个字符子串，即其中表示字符串的串接，的长度为S‑1，的长度为标准字符串长度减S‑1；(6)用一个均匀散列的哈希函数将串接的字符串散列为k′个地址，定义为：其中p＝1,2,…k′,并定义该均匀散列的哈希函数为f1；(7)将t＝1,2,…,k的所有字符串中相同序号的字符按顺序串接成新的字符串其中，v为1,…,S‑1，是字符串中字符的序号，为字符串的第v个字符，然后用一个均匀散列的哈希函数将字符串散列为k′位地址，定义为：其中p＝1,2,…k′,并定义该均匀散列的哈希函数为f2；(8)将步骤(6)中的地址与步骤(7)中的地址进行重新组合成新的地址，定义为其中v为1,…,S‑1，(9)在MVBF中将第j组的k′个地址置1；(10)将待查询的多维数据定义为q，然后用上述的距离敏感哈希函数进行表征，即(11)将第j组的k个哈希值，即分别转换成2进制数据，并在其后接上θ个0成为k个地址，定义为D1,j，D2,j，…，Dk,j；(12)如BMLBF[D1,j]，BMLBF[D1,j+1]，…，BMLBF[D1,j+2θ‑1]中有一个为1，则定义D1,j地址通过；如D1,j，D2,j，…，Dk,j都通过，则定义第j组在过滤器BMLBF通过，并继续下一步骤，否则判断j是否取完所有可能值，如果j没有取完所有可能值，转步骤(11)，如取完所有可能值，则确认q不是目标数据集合Ω的近似成员；(13)将待查询的多维数据q的第j组的k个哈希值，即转换成2进制字符串，在前添加0来使其达到标准字符串长度‑θ，并定义为e′t,j；(14)将e′t,j分为两个字符子串，即其中为字符串的串接，的长度为S‑1‑θ，的长度为标准字符串长度减S‑1；(15)用同样的哈希函数f1将串接的字符串散列为k′个地址，定义为：其中p＝1,2,…k′；(16)将t＝1,2,…,k的所有字符串中相同序号的字符按顺序串接成新的字符串其中，v′为1,…,S‑1‑θ，是字符串中字符的序号，为字符串的第v′个字符，然后用同样的哈希函数f2将字符串散列为k′位地址，定义为：其中p＝1,2,…k′；(17)将步骤(15)中的地址与步骤(16)中的地址进行重新组合成新的地址，定义为其中v′为1,…,S‑1‑θ；(18)在第j组的k′个哈希值后接上θ个0，定义为D′1,j，D′2,j，…，D′k,j；，p＝1,2,…k′；(19)如MVBF[D′1,j]，MVBF[D′1,j+1]，…，MVBF[D′1,j+2θ‑1]中有一个为1，则定义D′1,j地址通过；如D′1,j，D′2,j，…，D′k,j都通过，则定义第j组在过滤器MVBF通过，如果L组中任意一组在过滤器MVBF通过，则确认q是目标数据集合Ω的近似成员，否则q不是目标数据集合Ω的近似成员。