[发明专利]一种分布式消息系统中的数据处理方法和装置

说明书

技术领域

本发明涉及计算机技术领域，具体涉及一种分布式消息系统中的数据处理方法和装置。

背景技术

分布式消息系统(如Kafka、RocketMQ)能够提供消息订阅、发布、支持高并发。用户发布到分布式消息系统中的消息通常对应一个消息主题(Topic)。此外，分布式消息系统的元数据(meta data)通常是系统级的，与分布式消息系统相独立保存，例如Kafka的元数据通常保存在zookeeper(一种分布式系统的调度架构)上。而我们知道的是，元数据与数据的关联性很高，这种独立存储的方式并不是在各方面都是最佳的。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的分布式消息系统中的数据处理方法和装置。

依据本发明的一个方面，提供了一种分布式消息系统中的数据处理方法，包括：

为分布式消息系统中的消息主题维护用户级别的元数据；

接收数据处理方对指定消息主题的用户级别的元数据读取请求，向所述数据处理方返回该指定消息主题的用户级别的元数据，以使所述数据处理方根据所述用户级别的元数据，对该指定消息主题的目标数据进行指定类型的处理。

可选地，其中，所述为分布式消息系统中的消息主题维护用户级别的元数据包括：

在根据消息主题创建请求创建消息主题时，根据所述消息主题创建请求中的元数据创建请求，创建相应的用户级别的元数据。

可选地，所述为分布式消息系统中的消息主题维护用户级别的元数据包括：

提供元数据交互接口，通过所述元数据交互接口接收对指定消息主题的元数据维护请求；

根据所述元数据维护请求，对相应的消息主题的用户级别的元数据进行修改/删除，和/或为相应的消息主题新增用户级别的元数据。

可选地，所述接收数据处理方对指定消息主题的用户级别的元数据读取请求，向所述数据处理方返回该指定消息主题的用户级别的元数据包括：

提供元数据交互接口，通过所述元数据交互接口接收数据处理方对指定消息主题的用户级别的元数据读取请求，以及向所述数据处理方返回该指定消息主题的用户级别的元数据。

可选地，所述用户级别的元数据包括指定类型消息的概要信息；

所述接收数据处理方对指定消息主题的用户级别的元数据读取请求包括：接收数据处理方定期发送的对指定消息主题的用户级别的元数据读取请求；

所述根据所述用户级别的元数据，对该指定消息主题的目标数据进行指定类型的处理包括：

根据所述指定类型消息的概要信息，对该指定消息主题中的消息进行解析。

可选地，所述用户级别的元数据包括用户信息；

所述数据处理方对指定消息主题的用户级别的元数据读取请求是所述数据处理方在指定消息主题未被使用的时间达到预设阈值时发送的；

所述根据所述用户级别的元数据，对该指定消息主题的目标数据进行指定类型的处理包括：根据所述用户信息，向相应的用户发送是否删除该指定消息主题的确认信息；以及在接收到删除该指定消息主题的确认答复时，删除该指定消息主题。

依据本发明的另一方面，提供了一种分布式消息系统中的数据处理装置，包括：

元数据维护单元，适于为分布式消息系统中的消息主题维护用户级别的元数据；

元数据交互单元，适于接收数据处理方对指定消息主题的用户级别的元数据读取请求，向所述数据处理方返回该指定消息主题的用户级别的元数据，以使所述数据处理方根据所述用户级别的元数据，对该指定消息主题的目标数据进行指定类型的处理。

可选地，其中，所述元数据维护单元，适于在根据消息主题创建请求创建消息主题时，根据所述消息主题创建请求中的元数据创建请求，创建相应的用户级别的元数据。

可选地，所述元数据交互单元，适于提供元数据交互接口，通过所述元数据交互接口接收对指定消息主题的元数据维护请求；

所述元数据维护单元，适于根据所述元数据维护请求，对相应的消息主题的用户级别的元数据进行修改/删除，和/或为相应的消息主题新增用户级别的元数据。

可选地，所述元数据交互单元，适于提供元数据交互接口，通过所述元数据交互接口接收数据处理方对指定消息主题的用户级别的元数据读取请求，以及向所述数据处理方返回该指定消息主题的用户级别的元数据。

可选地，所述用户级别的元数据包括指定类型消息的概要信息；