[发明专利]基于布隆过滤器的数据验真方法及系统及装置及介质

说明书

本发明公开了基于布隆过滤器的数据验真方法及系统及装置及介质，涉及数据验真领域，包括：将源数据的数据记录上传至区块链存储；获取待验真的第一数据记录，从区块链上获取对应的第二数据记录；基于第一数据记录生成第一布隆过滤器数组；基于第二数据记录生成第二布隆过滤器数组；比较第一布隆过滤器数组和第二布隆过滤器数组，若第一布隆过滤器数组与第二布隆过滤器数组中相同下标位置上的元素全部相同，则数据验真通过；否则数据验真失败，并基于第一布隆过滤器数组与第二布隆过滤器数组中元素不同的下标位置定位出第一数据记录中数据不一致的字段；本发明能够在数据记录中多个字段不一致的情况下，提高数据验真的效率，减小字段比对的开销。

技术领域

本发明涉及数据验真领域，具体地，涉及基于布隆过滤器的数据验真方法及系统及装置及介质。

背景技术

数据验真是区块链的一项基础功能，它对原始数据的记录进行哈希摘要计算，然后将其同存储在链上的原始数据记录的哈希摘要值进行字符串对比，利用区块链不可篡改的特性，如果对比结果一致，则验真通过，否则即说明原始数据的值发生了变化。通常验真的粒度是记录级别，也即判断一条记录的结果是否发生了变化，但对于某些场景和应用，需要细化到数据项或字段级的验真，也即要精确定位到记录中具体是某一项或某几项数据发生了变化。业界常规的做法是将对应记录的哈希拆分成一个个数据项或字段的哈希，然后上链存证，在验真比对时，首先进行记录级哈希比对，如果不一致，则继续逐个数据项或字段进行比对，直至找出不一致的数据项或字段。这种方法在数据项或字段数较多的情况下，在最坏情况下其计算复杂度是记录级验真的N倍(N为记录中包含的数据项或字段数)，对于大数据量下的密集验真任务，这种方法的性能是无法满足应用要求的。基于这种方法的改进型版本，二叉哈希树的方法，在单字段不一致的情况下，可以显著降低验真的计算开销，但存在多个字段不一致的情况下，则需要的时间会成倍上升，并且会趋近于所有字段的比对开销。

发明内容

本发明目的是解决在数据记录中多个字段不一致的情况下，提高数据验真的效率，减小字段比对的开销。

为实现上述发明目的，本发明提供了基于布隆过滤器的数据验真方法，所述方法包括：

将源数据的数据记录上传至区块链存储；

获取待验真的第一数据记录，并从区块链上获取与第一数据记录对应的第二数据记录；

基于第一数据记录生成第一布隆过滤器数组；

基于第二数据记录生成第二布隆过滤器数组；

比较第一布隆过滤器数组和第二布隆过滤器数组，若第一布隆过滤器数组与第二布隆过滤器数组中相同下标位置上的元素全部相同，则数据验真通过；否则数据验真失败，并基于第一布隆过滤器数组与第二布隆过滤器数组中元素不同的下标位置定位出第一数据记录中数据不一致的字段。

其中，本发明提供了一种区块数据验真时快速定位一个或多个字段不一致的方法。本发明的核心思路和创新是将原始的线性顺序的数据项比对，以及适用于单个字段的基于二叉哈希树的快速定位比对，优化为基于bloom filter的快速比较和定位，即使在所有字段都不一致的情况下，其计算开销也仅仅只是bloom filter数组的长度，能够满足大数据量下的一到多个字段的密集验真任务的需要。

优选的，本方法在生成第一布隆过滤器数组和第二布隆过滤器数组之前还包括以下步骤：

设置布隆过滤器数组，布隆过滤器数组中元素的初始值为0，布隆过滤器数组中字段数量为第一数据记录中字段数量的两倍。

优选的，本方法中基于数据记录生成相应的布隆过滤器数组的方式为：

基于哈希函数计算数据记录中每个字段的哈希值获得第一计算结果；

针对每个字段对应的第一计算结果取模计算得到第二计算结果，第二计算结果为0到N-1之间的数值，N为布隆过滤器数组的大小；