[发明专利]数据处理方法及装置

说明书

本公开实施例中提供了一种数据处理方法、装置及电子设备，属于数据处理技术领域，该方法包括：将查询请求的特征因子转换成用哈希值表示的唯一标识；在内存数据库中查询与所述唯一标识匹配的结果的同时，采用异步的方式在所述内存数据库中缓存与所述查询请求相关的查询日志；将所述内存数据库中缓存的查询日志数据累计到关系数据库的流水表中；定期扫描所述关系数据库中的流水表，将所述流水表中过期的流水记录在所述内存数据库的缓存中进行中间结果的更新。通过本公开的方案，提高了数据处理的准确性。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种数据处理方法、装置及电子设备。

背景技术

互联网金融领域(支付、提现、营销)有很多风险场景需要使用某一类特定类型的规则来识别控制。比如对于盗卡类风险，可以通过类似

1.同一用户同一银行卡当日累计支付金额＝500：校验银行卡手机语音；

2.同一用户同一银行卡最近24小时累计支付金额＝500：校验银行卡手机语音；

这样的规则加以拦截控制。

由于风控策略的制定实施是一个长期存在的过程，类似的规则策略一般采用规则引擎布控实施，而规则所依赖的特征因子(比如上述规则1中的“同一用户同一银行卡当日累计支付金额”)的计算便是整个系统最为核心的部分。

上述特征因子的实时计算一般可以用一些开源的实时计算框架(比如storm、spark streaming等)解决，但这些实时计算框架由于在设计上的通用性的考虑，在实现类似上述金融领域特征因子的实时计算上会存在各种各样的问题。

为此，亟需一种全新的数据处理解决方案。

发明内容

有鉴于此，本公开实施例提供一种数据处理方法、装置及电子设备，至少部分解决现有技术中存在的问题。

第一方面，本公开实施例提供了一种数据处理方法，包括：

将查询请求的特征因子转换成用哈希值表示的唯一标识；

在内存数据库中查询与所述唯一标识匹配的结果的同时，采用异步的方式在所述内存数据库中缓存与所述查询请求相关的查询日志；

将所述内存数据库中缓存的查询日志数据累计到关系数据库的流水表中；

定期扫描所述关系数据库中的流水表，将所述流水表中过期的流水记录在所述内存数据库的缓存中进行中间结果的更新。

根据本公开实施例的一种具体实现方式，所述将查询请求的特征因子转换成用哈希值表示的唯一标识，包括：

获取所述查询请求中的特征因子；

将所述特征因子拆解为包括变量ID、维度、窗口类型及窗口大小的特征组合；

对所述特征组合进行哈希计算，生成所述唯一标识。

根据本公开实施例的一种具体实现方式，所述在内存数据库中查询与所述唯一标识匹配的结果的同时，采用异步的方式在所述内存数据库中缓存与所述查询请求相关的查询日志，包括：

接收所述唯一标识并对所述唯一标识进行参数校验；

当所述唯一标识通过参数校验之后，利用查询模块直接在内存数据库中查询与所述唯一标识匹配的结果，以及采用异步的方式在所述内存数据库中缓存与所述查询请求相关的查询日志。

根据本公开实施例的一种具体实现方式，所述将所述内存数据库中缓存的查询日志数据累计到关系数据库的流水表中，包括：

利用记录模块获取数据更新消息，并对所述更新消息进行参数校验；