[发明专利]数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

将查询请求的特征因子转换成用哈希值表示的唯一标识；该步骤包括：获取所述查询请求中的特征因子，将所述特征因子拆解为包括变量ID、窗口类型、窗口大小及算子中的至少一个的特征组合，对所述特征组合进行哈希计算，生成所述唯一标识；

在内存数据库中查询与所述唯一标识匹配的结果的同时，采用异步的方式在所述内存数据库中缓存与所述查询请求相关的查询日志；

将所述内存数据库中缓存的查询日志数据累计到关系数据库的流水表中；

定期扫描所述关系数据库中的流水表，将所述流水表中过期的流水记录在所述内存数据库的缓存中进行中间结果的更新；其中

设置有查询模块及与所述查询模块对应的内存数据库，查询模块用于从内存数据库中查询提前计算好的特征因子，并把本次的日志内容hash后临时缓存在内存数据库。

2.根据权利要求1所述的方法，其特征在于，所述在内存数据库中查询与所述唯一标识匹配的结果的同时，采用异步的方式在所述内存数据库中缓存与所述查询请求相关的查询日志，包括：

接收所述唯一标识并对所述唯一标识进行参数校验；

当所述唯一标识通过参数校验之后，利用查询模块直接在内存数据库中查询与所述唯一标识匹配的结果，以及采用异步的方式在所述内存数据库中缓存与所述查询请求相关的查询日志。

3.根据权利要求1所述的方法，其特征在于，所述将所述内存数据库中缓存的查询日志数据累计到关系数据库的流水表中，包括：

利用记录模块获取数据更新消息，并对所述更新消息进行参数校验；

基于内存数据库的分布式锁对更新消息对应的更新数据进行幂等校验，使所述更新数据仅更新一次。

4.根据权利要求3所述的方法，其特征在于，所述将所述内存数据库中缓存的查询日志数据累计到关系数据库的流水表中，还包括：

在所述内存数据库中查询日志数据；

若对所述日志数据的查询成功，则触发针对预设目标的数据更新事务，若对所述日志数据的查询失败，则在错误日志中记录相关数据，并定时重新进行参数校验。

5.根据权利要求4所述的方法，其特征在于，所述将所述内存数据库中缓存的查询日志数据累计到关系数据库的流水表中，还包括：

在数据更新事务被触发之后，利用所述数据更新事务依次更新关系数据库的流水表、关系数据库的结果表以及内存数据库的中间结果。

6.根据权利要求1所述的方法，其特征在于，所述将所述流水表中过期的流水记录在所述内存数据库的缓存中进行中间结果的更新，包括：

利用任务模块获取任务更新请求，并对所述任务更新请求进行幂等校验；

在所述幂等校验通过之后，读取所述关系数据库的流水表；

基于所述关系数据库的流水表在所述内存数据库的缓存中进行中间结果的更新。

7.根据权利要求6所述的方法，其特征在于，所述基于所述关系数据库的流水表在所述内存数据库的缓存中进行中间结果的更新，包括：

删除所述关系数据库中的过期流水；

基于删除的过期流水，更新所述关系数据库中的结果表；

基于更新后的结果表，更新所述内存数据库中的中间结果。