[发明专利]数据处理的方法和装置

说明书

本申请涉及一种数据处理的方法和装置，包括：根据预设的定时程序，自动执行数据统计任务，获得统计结果；根据预设的页面模板，将所述统计结果进行序列化处理，获得结果数据；将所述结果数据存入缓存数据库；在接收到查看请求时，先查询缓存数据库中是否存在与所述查看请求相匹配的结果数据；如果存在，则将对应的结果数据响应到请求端；如果不存在，则将查看请求放入待处理队列。本申请的方案能够根据需求从海量数据中提取有效数据，在数据分析过程避免了垃圾数据和无效数据，因而对数据分析效率有极大的提升；采用统一的页面模板，便于观察数据结果；在服务端将不同格式的数据进行序列化，方便在开发时接口对接，提高工作效率。

技术领域

本申请涉及计算机技术领域，具体涉及一种数据处理的方法和装置。

背景技术

目前，很多企业都拥有海量的客户信息，包括服务账务信息，业务层的信息记录等。但是由于数据来源于不同渠道，多数企业不具备收集并分析这些数据的能力。因此，如何有效利用这些数据，从这些数据中洞察价值，进而提升企业的核心竞争力，是一个值得研究的问题。

相关技术中，目前市场上主流的数据处理方案是，各部门分别进行数据统计并分析，再通过整合形成统一性的分析报告。如此的分析方式导致各部门间信息样本不一致，数据覆盖面不全，导致对数据的结论也有一定的偏差。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供一种数据处理的方法和装置。

根据本申请实施例的第一方面，提供一种数据处理的方法，包括：

根据预设的定时程序，自动执行数据统计任务，获得统计结果；

根据预设的页面模板，将所述统计结果进行序列化处理，获得结果数据；

将所述结果数据存入缓存数据库；

在接收到查看请求时，先查询缓存数据库中是否存在与所述查看请求相匹配的结果数据；

如果存在，则将对应的结果数据响应到请求端；如果不存在，则将查看请求放入待处理队列。

进一步地，所述执行数据统计任务的步骤包括：

构建需要查询的条件对象；

与历史数据库建立连接，根据条件对象到历史数据库中不同的数据表中读取数据；

根据需要展示的数据维度，对读取到的数据进行解析，获得统计结果。

进一步地，所述读取数据的步骤包括：

创建多个线程，使多个数据读取任务同时进行；

在执行任务前确定：待处理任务的总数、每个待处理任务的识别标志；

依次将不同待处理任务的识别标志分配到各个线程；

每个线程根据分配的识别标志执行数据读取任务；

每个线程处理完一个数据读取任务，会将公共已处理数据+1；

当公共已处理数据等于待处理任务的总数时，所有数据均处理完成。

进一步地，将所述统计结果进行序列化处理，包括：

根据页面展示的格式，将所述统计结果进行json序列化。

进一步地，所述查看请求中包含数据条件；

所述查看缓存数据库中是否存在与所述查看请求相匹配的结果数据，包括：

根据预设规则将数据条件生成唯一标识；

查看缓存数据库中是否存在相同的键值；