[发明专利]一种快速计算海量数据集间匹配度的方法

权利要求书

1.一种快速计算海量数据集间匹配度的方法，其特征在于：包括以下步骤：

步骤一、根据不同长度的字符串开发对应哈希函数；

步骤二、利用哈希函数将数据集中的字符串进行哈希运算，得到与字符串对应的映射值；

步骤三、根据数据集中字符串的数量和映射值的长度在内存中开辟bitmap；

步骤四、将两个数据集放置到开辟的bitmap中；

步骤五、按照利用按位与操作依次计算两个数据集中的字符串是否匹配；

步骤六、统计所有字符串的匹配结果，计算并输出两个数据集之间的匹配度。

2.根据权利要求1所述的一种快速计算海量数据集间匹配度的方法，其特征在于：步骤一中所述哈希函数的构造方法包括针对较长字符串的分段叠加法、针对整数类型字符串的除留余数法、直接定址法和数字分析法以及针对小数类型字符串的伪随机数法。

3.根据权利要求2所述的一种快速计算海量数据集间匹配度的方法，其特征在于：所述哈希函数通过上述方法构造后组建哈希映射工厂，具体步骤包括：

通过构造针对不同类型字符串的哈希函数，将其集合组成哈希映射工厂；在增加新的字符串类型时，通过改动哈希映射工厂构造新的哈希函数，然后将哈希函数与字符串对应分配。

4.根据权利要求1所述的一种快速计算海量数据集间匹配度的方法，其特征在于：步骤二中为了防止相同的字符串经过哈希函数计算以后出现相同的值，在进行哈希运算获取映射值之后增加扰动函数进行二次哈希计算，确保不同的字符串对应不同的映射值。

5.根据权利要求4所述的一种快速计算海量数据集间匹配度的方法，其特征在于：所述扰动函数的表达式为：

(h＝key.hashCode())^(h16)

其中，高半区16位数据不变，低半区16位数据与高半区16位数据进行异或操作，加大低位的随机性。

6.根据权利要求1所述的一种快速计算海量数据集间匹配度的方法，其特征在于：步骤三中所述bitmap在开辟后对其中无效点位进行检测，当检测到bitmap存在大量连续无效点位时对bitmap进行压缩，否则不进行压缩。