[发明专利]一种数据处理方法及数据处理装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取目标消费主题；

判断获取的所述目标消费主题是否存在于预置的数据状态记录表中，其中，所述数据状态记录表中记录有已消费的消费主题以及对应的消费记录；

若存在，则在所述数据状态记录表中查找与所述目标消费主题对应的消费记录，从消息队列中获取与所述目标消费主题对应的消费数据，并在所述数据状态记录表中更新所述目标消费主题所对应的消费记录；

若不存在，则从所述消息队列中依次获取与所述目标消费主题对应的消费数据，并将所述目标消费主题的消费信息记录入所述数据状态记录表中；

所述从消息队列中获取与所述目标消费主题对应的消费数据包括：

从所述消费记录中获取所述目标消费主题的分区信息及所述目标消费主题的偏移量信息；

根据所述目标消费主题的分区信息及所述偏移量信息确定所述目标消费主题的消费节点；

根据所述消费节点从所述消息队列中获取所述消费数据；

所述从消息队列中获取所述消费数据之后，对所述消费数据进行解析，得到所述消费数据的事件类型；

根据所述事件类型存储所述消费数据至与所述事件类型相对应的数据库中；

对所述数据状态记录表中存储的分区信息进行刷新处理。

2.根据权利要求1所述的方法，其特征在于，所述消费记录包括：所述已消费的消费主题的名称、所述已消费的消费主题的分区信息和所述已消费的消费主题的偏移量。

3.根据权利要求1或2所述的方法，其特征在于，所述从所述消息队列中依次获取所述消费数据之后，所述方法还包括：

根据配置的时间间隔断开与Kafka集群的连接，所述消息队列保存在所述Kafka集群中。

4.一种数据处理装置，其特征在于，包括：

获取单元，用于获取目标消费主题；

判断单元，用于判断获取的所述目标消费主题是否存在于预置的数据状态记录表中，其中，所述数据状态记录表中记录有已消费的消费主题以及对应的消费记录；

第一获取单元，用于当所述目标消费主题存在于所述数据状态记录表中时，在所述数据状态记录表中查找与所述目标消费主题对应的消费记录，从消息队列中获取与所述目标消费主题对应的消费数据，并在所述数据状态记录表中更新所述目标消费主题所对应的消费记录；

第二获取单元，用于当所述目标消费主题不存在于所述数据状态记录表中时，从所述消息队列中依次获取与所述目标消费主题对应的消费数据，并将所述目标消费主题的消费信息记录入所述数据状态记录表中；

解析单元，用于对消费数据进行解析，得到消费数据的事件类型；

存储单元，用于根据事件类型存储消费数据至与事件类型相对应的数据库中；

刷新单元，用于对数据状态记录表中存储的分区信息进行刷新处理；

所述第一获取单元包括：

第一获取子单元，用于从所述消费记录中获取所述目标消费主题的分区信息及所述目标消费主题的偏移量信息；

确定子单元，用于根据所述目标消费主题的分区信息及所述偏移量信息确定所述目标消费主题的消费节点；

第二获取子单元，用于根据所述消费节点从所述消息队列中获取所述消费数据。

5.一种存储介质，其上存储有程序，该程序被处理器执行时实现如权利要求1至3任一项所述的数据处理方法。

6.一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行如权利要求1至3任一项所述的数据处理方法。