[发明专利]基于动态附加布隆过滤器的RFID数据冗余处理方法

说明书

本发明涉及一种基于动态附加布隆滤波器的冗余数据处理方法，该方法可用于过滤RFID动态数据流中的冗余数据。在进行RFID冗余数据判断时，首先利用标签号、时间和阅读器因素的影响设计了基础布隆过滤器(TRBF)，然后根据定时间区间内数据量变化动态决定是否附加额外的TRBF或者调节已有的附加TRBF，通过附加TRBF扩充位数组将误判率控制在阈值内，最后结合两个过滤器对数据进行综合判断并更新相应的布隆过滤器单元，丢弃冗余数据，保存非冗余数据。实验结果表明该算法能够长时间过滤RFID动态数据流中的冗余数据，提高数据质量。它的先进性主要体现能够在数据量持续上升时保持平稳的低误判率。

技术领域

本发明属于数据预处理技术领域，尤其是一种基于RFID采集的实时数据的冗余过滤方法。

背景技术

随着物联网技术与制造业的深度结合，基于物联网的实时数据采集技术正在改变着智能装备、智能车间等各制造企业的生产模式。RFID技术作为下一代制造系统中关键的先进制造技术，被认为是提高可视性和提高效率最有前景的技术创新之一，它作为一种非接触式采集处理信息的自动识别技术，能够有效感知制造车间动态信息，如监测车间生产加工状态、优化物流仓储控制以及智能定位跟踪货物等。同时RFID信息采集技术具有实时性和快速性，满足车间可视化监控、实时调度、产品历史信息追溯等需求。随着物联网技术的发展，在离散制造过程中应用RFID技术成为制造业发展的必然趋势。

传感器和RFID采集的数据通常是关于车间生产环境监控、产品加工数据、运行设备状态、车间产品物流监测等相关的信息，这些数据通常有严格的实时性要求。为了保证采集的准确，传感器和RFID的采集频率非常高，且为了防止标签移动太快造成数据丢失，会在同一区域部署多个阅读器，这就导致的采集数据量规模巨大且质量低下。同时，由于RFID的工作方式，同一个标签长时间停留在某一固定读写器的范围内,会被多次读取，所以产生了大量的重复、无效的数据。

这些数据被采集后需要进行实时传输、存储并送到上层应用进行计算分析，如此，大量的冗余数据会造成存储空间的浪费，影响上层程序的分析和判断，给企业的决策造成无法预计的后果，如何对这些冗余的数据进行过滤成为了一个迫切需要研究的问题。面对这样的挑战，布隆过滤器提供了很好的解决方法，利用布隆过滤器可以快速判别数据是否曾经被采集过。然而由于传统布隆过滤器在数据量过大时误判率很高，如何改进布隆过滤器使其能够无法长时间处理RFID数据流，在数据量上升时仍保持较低的误判率是目前迫切需要解决的问题。

发明内容

发明目的：针对RFID在读取数据时产生大量的冗余重复数据和现有的处理技术随着数据量的上升误判率也会上升的问题，提出一种设计合理、快速准确且效率高的基于动态附加布隆过滤器的RFID数据冗余处理方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于动态附加布隆过滤器的RFID数据冗余处理方法，如图2所示，包括如下步骤：

步骤一：接收新数据x；

步骤二：判断是否存在附加TRBF，若存在则转步骤三，若不存在则转步骤五；

步骤三：将x的标签编号x.tagid经过哈希函数分别映射到附加TRBF的l个数组单元；

步骤四：附加TRBF判断x是否冗余，若是则转步骤八，若不是则转步骤五；

步骤五：将x.tagid经过哈希函数分别映射到TRBF的k个数组单元；

步骤六：TRBF判断x是否冗余，若是则转入步骤八，若不是则将x递交上层应用并转入步骤七；

步骤七：将x.tagid、x的读取时间x.time和x的阅读器编号x.readerid分别更新到TRBF的k个单元和附加TRBF的l个单元；

步骤八：丢弃x；