[发明专利]一种数据处理的方法和装置

说明书

本发明公开了一种数据处理的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：响应于获取到业务数据，注册与业务对应的定时任务，并将业务数据存储在第一存储位置中；监控所有定时任务，当到达定时任务的执行时间时执行定时任务；定时任务包括：从第一存储位置中获取定时任务对应的数据，根据定时任务对应的数据判断定时任务对应的业务是否完成；若是，则删除第一存储位置中业务的数据，并将业务的数据存储至数据库中；否则，删除第一存储位置中业务的数据，将业务的数据存入第二存储位置。该实施方式能够解决数据延时的问题、达到实时数据处理的效果。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理的方法和装置。

背景技术

现有数据处理一般是由大数据加工框架加工指标明细数据，然后写入数据库，涉及到当前时间的判断，大多数通过启动定时任务，每间隔预设时间扫描数据库，和当前时间比对，确定数据当前的业务信息，以判断业务是否超时。

但是，上述数据处理方式至少存在以下缺陷：存在时效延时，需要开发数据加工系统和定时任务系统，数据依赖系统多、运维难度增加。

发明内容

有鉴于此，本发明实施例提供一种数据处理的方法和装置，能够减少时效延时，实现数据的实时处理，无需额外开发定时任务系统，降低了系统运维难度和成本，提高了效率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理的方法，包括：

响应于获取到业务数据，注册与所述业务对应的定时任务，并将所述业务数据存储在第一存储位置中；

监控所有定时任务，在到达所述定时任务的执行时间的情况下执行所述定时任务；所述定时任务包括：从所述第一存储位置中获取所述定时任务对应的数据，根据所述定时任务对应的数据判断所述定时任务对应的业务是否完成；若是，则删除所述第一存储位置中所述业务的数据，并将所述业务的数据存储至数据库中；否则，删除所述第一存储位置中所述业务的数据，将所述业务的数据存入第二存储位置。

可选地，该方法还包括：响应于获取到所述业务的业务消息，根据所述业务消息判断所述业务是否完成；若是，则删除所述第一存储位置或所述第二存储位置中所述业务的数据，并将所述业务的数据存储至所述数据库中；否则，将所述业务消息存入所述第一存储位置。

可选地，在注册与所述业务对应的定时任务之前，还包括：

根据所述业务数据确定所述业务的超时时间，以所述超时时间作为所述定时任务的执行时间。

可选地，该方法还包括：在根据所述定时任务对应的数据判断所述定时任务对应的业务已完成的情况下，删除所述定时任务；

在根据所述定时任务对应的数据判断所述定时任务对应的业务未完成的情况下，生成与所述业务对应的超时消息，将所述超时消息存入所述数据库中，所述超时消息指示所述业务超时未完成。

可选地，删除所述第一存储位置或所述第二存储位置中所述业务的数据之后，还包括：

在根据所述业务消息判断所述业务已完成的情况下，删除所述定时任务，生成与所述业务对应的解除消息，将所述解除消息存入所述数据库中，所述解除消息指示所述业务已完成。

可选地，所述业务数据是采用流处理框架获取的；

所述流处理框架为Flink框架，所述定时任务基于Flink框架的timer机制注册；所述第一存储位置和所述第二存储位置分别为基于所述流处理框架声明的两个状态缓存。

可选地，注册与所述业务对应的定时任务之后，包括：将所述定时任务按照时间顺序写入与所述业务数据相同的数据流中。

本发明实施例的另一方面还提供一种数据处理的装置，包括：