[发明专利]数据处理方法及装置

说明书

本发明提供了一种数据处理方法及装置，包括：当检测到用户发送目标活动对应的操作请求时，生成对应的当前事件消息；当Flink框架处理当前事件消息时，获取预先规则库中的规则信息；将规则信息与事件消息关联获得补全信息；确定聚合类型，并生成当前时间点对应的当前时间窗口；应用当前时间窗口按照聚合类型对补全信息进行聚合获得聚合结果，并将聚合结果存储至数据库；当触发模块触发执行指令时，获取规则信息中的活动规则，并提取聚合结果；判断聚合结果是否符合活动规则；当符合时，向发送请求成功消息；反之，发送请求失败消息。应用该方法，以最小时间单位生成时间窗口进行数据的聚合，降低资源的消耗，提高数据产出时效性。

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种数据处理方法及装置。

背景技术

目前国内外大数据生态中，各个公司对数据的时效性要求越来越高。在反欺诈、异常检测、实时数据仓库以及实时数据分析等应用场景中，对数据进行实时统计可以提供精确的一次状态一致性保障、事件时间支持以及状态管理等特性。

在现有技术中，对数据的实时统计和计算任务是在活动启动之前预先设置，通常在进行计算任务时，会设置不同维度的时间来启动对应的时间窗口进行统计任务数据。例如，在打榜活动开始前，为了防止存在打榜刷票的行为，风控系统设置1分钟、5分钟、1小时、1天四个规则，则需要在1分钟、5分钟、1小时、1天的四个时间维度设置时间窗口进行实时任务数据的分析。当进行数据分析的时间跨度越大，比如时间跨度为1个小时或1天，需要消耗更多资源来存储和统计中间的数据，时间跨度越大，所需要存储的数据越多，消耗的资源越高，从而影响数据产出的时效性。

发明内容

有鉴于此，本发明提供一种数据处理方法，通过该方法，以最小时间单位生成时间窗口进行数据的聚合，降低资源的消耗，提高数据产出时效性。

本发明还提供了一种数据处理装置，用以保证上述方法在实际中的实现及应用。

一种数据处理方法，所述方法应用于风控系统，所述方法包括：

当检测到用户发送目标活动对应的操作请求时，生成所述操作请求对应的当前事件消息，并将所述事件消息加入预先设置的消息队列，应用Flink框架按照所述消息队列中已加入的各个事件消息的加入顺序，依次对各个所述事件消息进行处理；

当所述Flink框架处理到所述当前事件消息时，获取预先设置的规则库中最新更新的所述目标活动对应的规则信息；

将所述规则信息与所述事件消息进行关联，获得补全信息；

确定所述规则信息对应的聚合类型，并生成当前时间点对应的当前时间窗口；所述风控系统按照预先设置的最小时间单位实时生成时间窗口；

应用所述当前时间窗口按照所述聚合类型对所述补全信息进行聚合，获得聚合结果，并将所述聚合结果持久化存储至预先设置的数据库；

当所述风控系统的中触发模块触发所述操作请求对应的执行指令时，获取所述规则信息中所述目标活动对应的活动规则，并从所述数据库中提取所述聚合结果；

判断所述聚合结果是否符合所述活动规则；

当所述聚合结果符合所述活动规则时，向所述用户发送所述操作请求对应的请求成功消息；

当所述聚合结果不符合所述活动规则时，向所述用户发送所述操作请求对应的请求失败消息。

上述的方法，可选的，所述将所述事件消息加入预先设置的消息队列，包括：

将所述事件消息转换成json格式的事件消息，并将已转换格式的事件消息加入所述消息队列。

上述的方法，可选的，所述将所述规则信息与所述事件消息进行关联，获得补全信息，包括：