[发明专利]大规模数据信息排重处理系统

权利要求书

1、一种大规模数据信息排重处理系统，其特征在于包括四个模块：输入模块、数字编码模块、多点检验模块、输出模块，其中：

所述的输入模块接收需要进行排重的原始数据，即数据实例；

所述的数字编码模块将输入模块获得的数据实例进行重新编码，将数据空间压缩到与待解问题实际数据实例的规模相当或稍大的空间；

所述的多点检验模块对新编码进行多次采样，并与高速存储的地址建立映射关系，通过控制高速存储相应地址的标志位来记录是否已经出现过某一个数据实例，从而实现排重；

所述的输出模块将经过排重的数据返回给用户。

2、根据权利要求1所述的大规模数据信息排重处理系统，其特征是，所述的输入模块负责接收用户的数据实例，数据实例是文件输入或者网络流输入，这些数据实例没有特定的顺序要求，一个数据实例可能在接收时多次出现，中间夹杂其他数据实例。

3、根据权利要求1所述的大规模数据信息排重处理系统，其特征是，所述的数字编码模块采用哈希函数来实现数据实例的快速编码转换，并将原始空间内的数据压缩到由k位01序列的数值，数字编码模块的编码位数需大于最终输出的数值数量，以保证数字编码有足够的区分度。

4、根据权利要求3所述的大规模数据信息排重处理系统，其特征是，所述k的取值是16或32的整数倍。

5、根据权利要求4所述的大规模数据信息排重处理系统，其特征是，所述k的取值是128或160。

6、根据权利要求1所述的大规模数据信息排重处理系统，其特征是，所述的多点检验模块，将由数字编码模块生成的数值和高速存储的地址建立多点对应关系，并通过控制高速存储相应地址的标志位来记录是否已经出现过某一个数据实例的模块，它能迅速查询高速存储装置中特定地址位是否均为标记过来对数据进行判断是否已经出现过。

7、根据权利要求1或6所述的大规模数据信息排重处理系统，其特征是，所述的多点检验模块，在处理问题规模相对小的问题时，可简化为单点检验。

8、根据权利要求1所述的大规模数据信息排重处理系统，其特征是，所述的输出模块，将多点检验模块判重以后没有重复出现过的数据实例最终返回给用户。