[发明专利]数据处理方法、数据处理装置及存储介质

摘要

本发明公开了一种数据处理方法、数据处理装置及存储介质，所述处理方法首先对实时数据进行解析，以获取解析数据；然后根据解析数据中的全局唯一标识符在缓存中查询对应的存储值是否为空，当存储值不为空时，进行数据去重；当存储值为空时，对协议号对应的存储值进行更新；更新后，对统计指令中交集对应的多个协议号所分别对应的存储值进行遍历，当所述多个协议号所分别对应的存储值皆不为空时，对交集中的统计指标进行计数。其中，在缓存时采用交集中的全局唯一标识符作为主键，每条实时数据的特征值在解析后映射到主键对应的存储值中，再通过对存储值中指定比特位的变化来进行交集的去重计数，不仅具有占用的内存空间少，且可以提高计算效率。

主权项

一种数据处理方法，其特征在于，包括：接收实时数据，并根据实时数据中包含的协议号对所述实时数据进行解析，以生成解析数据；根据解析数据中的全局唯一标识符查询所述协议号对应的存储值；当所述存储值不为空时，进行数据去重；当所述存储值为空时，对所述协议号对应的存储值进行更新；以及更新后，对统计指令中交集对应的多个协议号所分别对应的存储值进行遍历，当所述多个协议号所分别对应的存储值皆不为空时，对交集中的统计指标进行计数。