[发明专利]一种数据管理方法、装置和计算机可读存储介质

说明书

本发明实施例公开了一种数据管理方法、装置和计算机可读存储介质，对接收到的数据按照预设规则进行排序，得到初始数据集；从初始数据集中读取预设长度的数据队列；将确定出的数据队列中的冗余数据从初始数据集中删除，以得到目标数据集；判断目标数据集中是否存在未经去重处理的数据；若是，则依据数据队列的数据重复总次数和数据总条数以及设置的队列长度上限值和队列长度下限值，确定出队列长度；将该队列长度作为预设长度，将目标数据集作为初始数据集，重新执行从初始数据集中读取预设长度的数据队列的步骤，直至目标数据集中不存在未经去重处理的数据，则结束操作。通过动态调整预设长度的具体取值，可以达到更好的去重效果。

技术领域

本发明涉及冗余处理技术领域，特别是涉及一种数据管理方法、装置和计算机可读存储介质。

背景技术

射频识别(Radio Frequency Identification，RFID)数据分析优化的功能就是对读取到的标签数据进行过滤和整合，把处理后的有用数据提交给需要的应用程序。

RFID以电子标签来标志某个物体，电子标签的天线通过无线电波将物体的数据发射到附近的RFID读写器。RFID读写器按照毫秒级的阅读周期对标签进行读取，这就意味着标签在很短的时间内被同一个阅读器多次读取到，产生冗余数据。并且一个模块化数据中心(Module Data Center，MDC)根据机柜的规模与服务器的数据不同，一般需要4～8个RFID读写器，每一个阅读器可以伸出4根超高频天线UHF，每台服务器等IT设备贴有一个电子标签。当一个标签在两个或者多个阅读器的射频范围内，从而被几个阅读器同时读取到，也会造成冗余数据。

传统方式中，最为常用的方法是采用固定队列法消除数据冗余。在排序后的数据集上移动一个固定大小的队列，假设，队列大小为w条数据，每移动一次队列，则比较队列最新加入的数据是否与队列内先前的数据重复。但是该算法中所依据的队列长度往往由专家凭行业经验确定，但固定的队列长度很难在整个去重过程中都适用，导致去重效果不理想。

可见，如何提升数据去重效率，是本领域技术人员亟待解决的问题。

发明内容

本发明实施例的目的是提供一种数据管理方法、装置和计算机可读存储介质，可以提升数据去重效率。

为解决上述技术问题，本发明实施例提供一种数据管理方法，包括：

S101：对接收到的数据按照预设规则进行排序，得到初始数据集；

S102：从所述初始数据集中读取预设长度的数据队列；

S103：确定出所述数据队列中的冗余数据，并将所述冗余数据从所述初始数据集中删除，以得到目标数据集；

S104：判断所述目标数据集中是否存在未经去重处理的数据；若是，则执行S105；若否，则结束操作；

S105：依据所述数据队列的数据重复总次数和数据总条数以及设置的队列长度上限值和队列长度下限值，确定出队列长度；并将所述队列长度作为预设长度，将所述目标数据集作为初始数据集，返回所述S102。

可选的，在所述S105中包括：

计算所述数据队列中数据重复总次数和所述数据队列的数据总条数的比值；并根据如下公式，计算出目标队列长度W_i：

W_i＝Int(W_min+a(W_max-W_min))；

其中，W_min表示队列长度下限值，W_max表示队列长度上限值，a表示所述比值；Int表示取整运算。

可选的，在所述S101中包括：