[发明专利]数据处理的方法和装置

权利要求书

1.一种数据处理的方法，其特征在于，包括：

根据预设的定时程序，自动执行数据统计任务，获得统计结果；

根据预设的页面模板，将所述统计结果进行序列化处理，获得结果数据；

将所述结果数据存入缓存数据库；

在接收到查看请求时，先查询缓存数据库中是否存在与所述查看请求相匹配的结果数据；

如果存在，则将对应的结果数据响应到请求端；如果不存在，则将查看请求放入待处理队列；

其中，所述执行数据统计任务的步骤包括：

构建需要查询的条件对象；

与历史数据库建立连接，根据条件对象到历史数据库中不同的数据表中读取数据；

根据需要展示的数据维度，对读取到的数据进行解析，获得统计结果。

2.根据权利要求1所述的方法，其特征在于，所述读取数据的步骤包括：

创建多个线程，使多个数据读取任务同时进行；

在执行任务前确定：待处理任务的总数、每个待处理任务的识别标志；

依次将不同待处理任务的识别标志分配到各个线程；

每个线程根据分配的识别标志执行数据读取任务；

每个线程处理完一个数据读取任务，会将公共已处理数据+1；

当公共已处理数据等于待处理任务的总数时，所有数据均处理完成。

3.根据权利要求1所述的方法，其特征在于，将所述统计结果进行序列化处理，包括：

根据页面展示的格式，将所述统计结果进行json序列化。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述查看请求中包含数据条件；

所述查看缓存数据库中是否存在与所述查看请求相匹配的结果数据，包括：

根据预设规则将数据条件生成唯一标识；

查看缓存数据库中是否存在相同的键值；

如果存在，则该键值对应的数据为与所述查看请求相匹配的结果数据。

5.根据权利要求4所述的方法，其特征在于，还包括：

如果存在，则直接获取结果数据，将该数据响应给展示层；并更新该数据的活跃度指标，保存在缓存数据库中。

6.根据权利要求4所述的方法，其特征在于，所述将查看请求放入待处理队列，包括：

将唯一标识存入待处理队列中，等待队列消费；

监听待处理队列，当发现待处理队列中有任务时，消费队列中的任务；

将待处理队列中的唯一标识取出；

根据唯一标识将对应的数据查出。

7.根据权利要求4所述的方法，其特征在于，所述将所述结果数据存入缓存数据库，包括：

将当前时间、结果数据和唯一标识，保存到缓存数据库中。

8.根据权利要求4所述的方法，其特征在于，还包括：

设置定时程序，在缓存数据库中查询最后更新时间在预设时间阈值内的数据，并对这些数据进行更新；

将最后更新时间超出预设时间阈值的数据丢弃。

9.一种数据处理的装置，其特征在于，包括：

定时程序模块，用于根据预设的定时程序，自动执行数据统计任务，获得统计结果；

序列化模块，用于根据预设的页面模板，将所述统计结果进行序列化处理，获得结果数据；并将所述结果数据存入缓存数据库；

查询模块，用于在接收到查看请求时，先查询缓存数据库中是否存在与所述查看请求相匹配的结果数据；如果存在，则将对应的结果数据响应到请求端；如果不存在，则将查看请求放入待处理队列；

其中，所述定时程序模块执行数据统计任务的步骤包括：构建需要查询的条件对象；与历史数据库建立连接，根据条件对象到历史数据库中不同的数据表中读取数据；根据需要展示的数据维度，对读取到的数据进行解析，获得统计结果。