[发明专利]一种数据处理系统消息订阅发布装置

说明书

本发明公开了一种数据处理系统消息订阅发布装置，数据处理系统包括多个节点，每个节点上运行至少一个数据处理服务，包括至少一个节点上设置消息代理模块，每个所述数据处理服务均设置消息订阅模块和消息发布模块，消息订阅模块，通过IPC方式或TCP方式订阅消息；消息发布模块通过IPC或TCP方式发布；消息代理模块，通过TCP方式订阅其它节点发布的消息并将其通过IPC方式发布；通过IPC方式订阅本节点发布的消息并将其通过TCP和IPC方式发布。本发明设计合理，采用TCP和IPC方式进行订阅发布，减小了系统内部通过TCP网络传输的数据量，提高了通信效率。

技术领域

本发明属于数据处理系统订阅发布技术领域，具体涉及一种数据处理系统消息订阅发布装置。

背景技术

为了保证数据处理的可靠性，传统的数据处理系统往往采取以节点为中心的主备模式。随着数据处理规模和复杂度的快速上升，传统的集中式数据处理系统的缺点逐步显现，备机的作用没有充分发挥，系统不自主可控、可拓展性不高、部署不够灵活，无法满足越来越复杂和多样的数据处理发展需求。

为了克服传统的集中式数据处理系统架构的缺点，可以将数据处理系统设计为一种分布式架构，可以按功能将系统拆分为多个数据处理服务，这些数据处理服务运行在集群环境下。在集群环境下运行的这些数据处理服务需要在集群内部进行大量的实时数据交互。集群内部数据交互的方式很多，比如传统的TCP方式、消息中间件方式等。如果系统中包含数据处理服务非常多，对于这样一个系统，所有的数据处理服务之间需要两两互相连接，形成一个复杂网状网络。对于复杂网状网络，全部采用TCP方式订阅发布数据，效率低。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种数据处理系统消息订阅发布装置，其设计合理，将数据订阅发布的复杂网状网络转换为内外部结构，采用TCP和IPC方式进行订阅发布，减小了系统内部通过TCP网络传输的数据量，提高了通信效率。

为解决上述技术问题，本发明采用的技术方案是：一种数据处理系统消息订阅发布装置，所述数据处理系统包括多个节点，每个节点上运行至少一个数据处理服务，其特征在于：至少一个节点上设置消息代理模块，每个所述数据处理服务均设置消息订阅模块和消息发布模块；

消息订阅模块，通过IPC方式或TCP方式订阅消息，并将接收到的消息删除主题标示后得到PDU，然后PDU经过译码生成数据提供给数据处理服务；

消息发布模块，将各个节点上各个数据处理服务运行的数据编码为PDU，并进行主题标识加工，然后将主题标识和PDU组合为消息并通过IPC或TCP方式发布；

消息代理模块，通过TCP方式订阅其它节点消息代理模块或消息发布模块发布的消息并将其通过IPC方式发布；通过IPC方式订阅本节点中消息发布模块发布的消息并将其通过TCP和IPC方式发布；

所述的IPC方式是ZMQ的IPC方式，所述的TCP方式是ZMQ的TCP方式。

上述的一种数据处理系统消息订阅发布装置，其特征在于：所述消息订阅模块包括：

第一外部接口模块，提供了订阅、注销、启动、停止接口；

第一主题加工模块，根据订阅所需数据对应的订阅信息生成主题名称；

主题管理模块，用于管理订阅的主题标识，如果已订阅主题列表中无该主题标识，则主题管理模块将该主题标识加入到已订阅主题列表中，并订阅该主题标示；

数据接收模块，通过TCP方式或IPC方式订阅接收消息，将接收到的消息删除主题标示后得到PDU；

译码模块，将PDU译码为数据并提供给数据处理服务处理；所述译码模块采用的译码方法为基本编码规则ASN.1-BER。