[发明专利]数据处理的方法及装置

说明书

本发明实施例提供了一种数据处理的方法，包括：接收数据流；根据该数据流生成三元数组的集合，该集合中的每个三元数组均包括三项，其中第一项为该数据流中的第一元素，第二项包括所述第一元素在该数据流中出现的第一时刻以及与所述第一时刻对应的第一次数，第三项包括所述第一元素在该数据流中出现的第二时刻以及与所述第二时刻对应的第二次数；根据所述三元数组的集合对该数据流进行数据处理。本发明实施例中，可以基于数据流生成三元数组的集合，由于三元数组的集合中存储了多个第一元素的次数与时间的对应关系，因此可以根据该三元数组的集合，获取多个第一元素在历史时刻的次数等，从而能够实现全局监测。

技术领域

本发明实施例涉及通信领域，并且更具体地，涉及一种数据处理的方法及装置。

背景技术

数据流是一组顺序、大量、快速、连续到达的数据序列。一般情况下，数据流可被视为一个随时间延续而无限增长的动态数据集合。数据流在网络监控、传感器网络、航空航天、气象测控和金融服务等应用领域广泛出现，通过对数据流研究可以进行卫星云图监测、股市走向分析、网络攻击判断等。

寻找数据流中的元素的变化趋势是信号检测的一个重要方面，例如，在网络监控、病毒检测、趋势预测、异常分析等领域，能够为信号检测提供重要的指导意义。

在通常的应用中，一般只考虑当前时刻的数据流中元素的出现次数，历史时刻的数据如果没有被及时地记录并存储下来，在当前时刻无法进行查询，会造成信息的丢失。因此，如何实现数据流的全局监测是目前亟需解决的技术瓶颈。

发明内容

本发明实施例提供一种数据处理的方法，能够实现数据流的全局监测。

第一方面，提供了一种数据处理的方法，包括：

接收数据流，所述数据流包括多个数据点，每个数据点的数据信息包括采集所述数据点的采集时刻以及在所述采集时刻所采集的元素；

根据所述数据流生成三元数组的集合，所述集合中的每个三元数组均包括三项，其中第一项为所述数据流中的第一元素，第二项包括所述第一元素在所述数据流中出现的第一时刻以及与所述第一时刻对应的第一次数，第三项包括所述第一元素在所述数据流中出现的第二时刻以及与所述第二时刻对应的第二次数；

根据所述三元数组的集合对所述数据流进行数据处理。

本发明实施例中，可以基于数据流生成三元数组的集合，由于三元数组的集合中存储了多个第一元素的次数与时间的对应关系，因此可以根据该三元数组的集合，获取多个第一元素在历史时刻的次数等，从而能够实现全局监测。

结合第一方面，在第一方面的上述某些实现方式中，所述根据所述数据流生成三元数组的集合，包括：

根据所述数据流，建立与所述多个第一元素一一对应的多个阶梯频率流，其中，所述多个阶梯频率流中的每个阶梯频率流包括多个第一元素数据点，每个第一元素数据点包括第三时刻以及第三次数，所述第三时刻为所述第一元素在所述数据流中出现的时刻，所述第三次数为截止所述第三时刻所述第一元素在所述数据流中出现的次数；

根据与所述多个第一元素一一对应的多个阶梯频率流，生成所述三元数组的集合。

这样，本发明实施例中可以基于数据流建立多个阶梯频率流，其中，一个阶梯频率流对应一个第一元素，进而可以根据每个阶梯频率流分别确定与第一元素对应的三元数组。其中，针对于某一个特定阶梯频率流生成三元数组的过程，该过程处理的数据量少，效率较高。

结合第一方面，在第一方面的上述某些实现方式中，所述根据所述数据流生成三元数组的集合，包括：