[发明专利]一种数据处理方法、装置及系统

说明书

本发明实施例提供了一种数据处理方法、装置及系统，所述方法包括：将采集到的数据实时存储到实时数据库中，并每隔第一周期将实时数据库中满足预设条件的数据进行处理后发送到只读数据库；将实时数据库中在第一存储时刻之前的数据删除，其中第一存储时刻是当前时刻之前第一存储时间段对应的时刻；每隔第二周期将只读数据库中在第二存储时刻之前的数据进行处理后发送至报表数据库，并将只读数据库中在所述第二存储时刻之前的数据删除，第一存储时间段小于第二存储时间段。所述装置用于执行上述方法，所述系统包括所述装置以及所述实时数据库、只读数据库和报表数据库，用于执行上述方法。本发明实施例提高了数据存储以及数据查询的效率。

技术领域

本发明实施例涉及数据处理技术领域，具体涉及一种数据处理方法、装置及系统。

背景技术

随着LTE网络的建设和发展，运营商已形成4G、3G、2G和WLAN四张网络的运行和维护，每个基站及其包含的小区均需纳入指标监控，实时呈现给维护优化人员，由运营商对网络进行维护和监控。

根据传统的性能指标，统计时间粒度为15分钟，数据处理要求相对较低，但随着信令监测等用户感知类指标的涌现，统计时间粒度缩短至毫秒级，而在前台呈现的时间也大大缩短，部分指标的数据更新不大于20秒，存储延迟不超过120秒。假设一个省的4G小区数量为10W，统计指标为100个，统计粒度为50毫秒，则每分钟的数据条目为2亿条，对存储和读取都将是重大的考验。现有技术中，通常将采集到的数据经过服务器处理后统一存放在一个数据库中，在数据存储时建立索引，以便用户查询，但是，由于数据量的增加，数据存储以及查询的时间会相应的延长。作为运营商，主要处理性能报表，其相对单一，而瓶颈在于中心节点的处理能力有限。现有的技术方案中，数据存储的方法主要通过模块化处理、增加中心节点的缓存、压缩数据等方式，来提高中心节点的处理能力。这样虽然能够提高中心节点的处理能力，但是增加了数据处理资源，由于数据量的增加，并不能有效的提高数据存储和查询的效率。

因此，如何提出一种方法，能够提高数据的存储和查询的效率，成为亟待解决的问题。

发明内容

针对现有技术中的缺陷，本发明实施例提供一种数据处理方法、装置及系统。

一方面，本发明实施例提供一种数据处理方法，包括：

将采集到的数据实时存储到实时数据库中，并每隔第一周期将所述实时数据库中满足预设条件的数据进行处理后发送到只读数据库；

将所述实时数据库中在第一存储时刻之前的数据删除，其中所述第一存储时刻是当前时刻之前第一存储时间段对应的时刻；

每隔第二周期将所述只读数据库中在第二存储时刻之前的数据进行处理后发送至报表数据库，并将所述只读数据库中在所述第二存储时刻之前的数据删除，其中所述第二存储时刻是所述当前时刻之前第二存储时间段对应的时刻，且所述第一存储时间段小于所述第二存储时间段。

另一方面，本发明实施例提供一种数据处理装置，包括：

第一处理单元，用于将采集到的数据实时存储到实时数据库中，并每隔第一周期将所述实时数据库中满足预设条件的数据进行处理后发送到只读数据库；

第二处理单元，用于将所述实时数据库中在第一存储时刻之前的数据删除，其中所述第一存储时刻是当前时刻之前第一存储时间段对应的时刻；

第三处理单元，用于每隔第二周期将所述只读数据库中在第二存储时刻之前的数据进行处理后发送至报表数据库，并将所述只读数据库中在所述第二存储时刻之前的数据删除，其中所述第二存储时刻是所述当前时刻之前第二存储时间段对应的时刻，且所述第一存储时间段小于所述第二存储时间段。

又一方面，本发明实施例提供数据处理系统，包括：上述数据处理装置、实时数据库、只读数据库以及报表数据库。