[发明专利]一种用于顺序消费数据的方法及系统

权利要求书

1.一种用于顺序消费数据的方法，其特征在于，该方法包括以下步骤：

1)数据生产者客户端连接到数据处理系统，并向数据处理系统发送数据；

2)数据处理系统生产者线程依据接收数据的主题以及当前数据处理系统的分区编号，将数据存储到数据库管理系统中；

3)数据消费者客户端连接到所述数据处理系统，数据处理系统消费者线程依据当前消费者的ID，获取当前消费者ID对应的分区编号的偏移量；

4)消费者线程根据所述分区编号的偏移量从数据处理系统不同分区中获取数据，与数据库管理系统存储的数据进行匹配、整合；

5)消费者线程将匹配、整合完成的数据结果返回给相应的数据消费者客户端；

所述数据处理系统为Kafka消息分布式发布订阅消息系统，所述数据库管理系统为Mysql数据库管理系统；

在Mysql数据库管理系统的Mysql的数据表中仅存储当前的Kafka的主题名称、分区编号、当前数据的UNIX时间戳以及该数据在Kafka中的分区偏移量，而不存储由生产者客户端产生的具体数据；

Kafka还创建数据删除线程，所述数据删除线程根据Kafka配置的超时时间，将超时存储到Kafka中的数据中的主题名称、分区ID以及数据的偏移量读取出来，调用数据删除组件将Mysql数据库管理系统中对应的数据删除，同时数据删除线程将Kafka中的对应数据删除。

2.根据权利要求1所述的方法，Kafka消费者线程依据当前消费者的ID，从其协同工作的zookeeper中获取当前消费者ID对应不同分区ID的偏移量；

将从不同分区中获取的数据的主题以及分区编号，与Mysql中存储的主题、分区编号、偏移量进行关联，将具备相同主题、分区编号以及偏移量的数据合并。

3.根据权利要求2所述的方法，消费者线程在向消费者返回数据之前，依据合并的数据中的UNIX时间戳进行升序排序，并重新整合数据结果；

消费者线程将整合完成的依赖UNIX时间戳排序之后的数据结果返回给相应的数据消费者客户端。

4.一种用于顺序消费数据的系统，其特征在于，该系统包括：数据生产者客户端、数据处理系统、数据库管理系统和数据消费者客户端；

所述数据处理系统分别针对数据生产者客户端和数据消费者客户端创建数据生产者线程和数据消费者线程；

数据生产者客户端连接到数据处理系统，并向数据处理系统发送数据；

数据处理系统生产者线程依据接收数据的主题以及当前数据处理系统的分区编号，将数据存储到数据库管理系统中；

数据消费者客户端连接到所述数据处理系统，数据处理系统消费者线程依据当前消费者的ID，获取当前消费者ID对应的分区编号的偏移量；

数据消费者线程根据所述分区编号的偏移量从数据处理系统的分区中获取数据，与数据库管理系统存储的数据进行匹配、整合；

数据消费者线程将匹配、整合完成的数据结果返回给相应的数据消费者客户端；

所述数据处理系统为Kafka消息分布式发布订阅消息系统，所述数据库管理系统为Mysql数据库管理系统；

在Mysql数据库管理系统的Mysql的数据表中仅存储当前的Kafka的主题名称、分区编号、当前数据的UNIX时间戳以及该数据在Kafka中的分区偏移量，而不存储由生产者客户端产生的具体数据；

Kafka还创建数据删除线程，所述数据删除线程根据Kafka配置的超时时间，将超时存储到Kafka中的数据中的主题名称、分区ID以及数据的偏移量读取出来，调用数据删除组件将Mysql数据库管理系统中对应的数据删除，同时数据删除线程将Kafka中的对应数据删除。

5.根据权利要求4所述的系统，Kafka消费者线程依据当前消费者的ID，从其协同工作的zookeeper中获取当前消费者ID对应不同分区ID的偏移量；

将从不同分区中获取的数据的主题以及分区编号，与Mysql中存储的主题、分区编号、偏移量进行关联，将具备相同主题、分区编号以及偏移量的数据合并。