[发明专利]数据处理方法及装置、存储介质及电子设备

说明书

本发明提供了一种数据处理方法及装置、存储介质及电子设备，该方法应用于消息中间件，包括：当检测到客户端向第一服务器上传目标函数时，确定部署策略；基于部署策略选择目标函数对应的第一执行容器；生成目标函数对应的数据流，并将数据流存储至分布式存储系统中；在第一执行容器中生成执行对象，并触发所有执行容器订阅该数据流；当检测到消费端向第二服务器发送数据流对应的消费指令时，基于部署策略，启动消费指令对应的第二执行容器，使得第二执行容器触发执行对象向消费端输出数据流。应用本发明提供的方法，通过消息中间件对进行简单的数据处理，根据不同的函数输出对应的数据，无需消费端消费所有的数据后再进行过滤等一系列操作。

技术领域

本发明涉及消息中间件技术领域，特别是涉及一种数据处理方法及装置、存储介质及电子设备。

背景技术

消息中间件在我们日常工作中使用得非常多。在日常应用中，消息中间件可以用于对大量数据的接收和发布，以缓解网络的压力。

现有对于常规的消息中间件的应用过程中，我们没有办法在服务端进行一些常用的数据处理操作，只能在生产前或者消费后对数据进行一些增强处理，例如：一个有1000万条数据的流，我们预期的是指希望获取其中某一部分数据，若符合条件的为10万条，消费端需要将整个数据流中的数据进行提取后在进行对应的数据计算才能获得最终所需的数据，而消费端在消费数据时，消费的其中990万条数据都是浪费网络流量。因此，应用现有技术中的方法，容易增加消费端的网络流量。

发明内容

有鉴于此，本发明提供一种数据处理方法，通过该方法，通过消息中间件对进行简单的数据处理，根据不同的函数输出对应的数据流，无需消费端消费所有的数据后再进行过滤等一系列操作。

本发明还提供了一种数据处理装置，用以保证上述方法在实际中的实现及应用。

一种数据处理方法，所述方法应用于消息中间件，所述消息中间件包含服务器集群和容器集群，所述服务器集群中包含至少一个服务器，所述容器集群中包含至少一个执行容器，所述方法包括：

当检测到客户端向所述服务器集群中的第一服务器上传目标函数时，确定所述消息中间件中所述容器集群对应的部署策略；

基于所述部署策略，在所述容器集群中选择所述目标函数对应的第一执行容器；

生成所述目标函数对应的数据流，并将所述数据流存储至预先设置的分布式存储系统中；

在所述第一执行容器中生成所述数据流对应的执行对象，并触发所述容器集群中的所有执行容器订阅所述数据流；

当检测到消费端向所述服务器集群中的第二服务器，发送所述数据流对应的消费指令时，基于所述部署策略，启动所述消费指令对应的第二执行容器，使得所述第二执行容器触发所述执行对象向所述消费端输出所述数据流。

上述的方法，可选的，所述确定所述消息中间件中所述容器集群对应的部署策略，包括：

检测所述容器集群中各个所述执行容器在所述消息中间件的部署位置；

当所述容器集群中的各个执行容器的部署位置为内置部署时，确定所述消息中间件中所述容器集群对应的部署策略为内置模式，所述内置部署表征所述容器集群中的各个执行容器一一对应部署于所述服务器集群的各个服务器内；

当所述容器集群中的各个执行容器的部署位置为独立部署时，确定所述消息中间件中所述容器集群对应的部署策略为独立模式，所述独立模式表征所述容器集群中的各个执行容器均独立部署于所述服务器集群之外。

上述的方法，可选的，所述基于所述部署策略，在所述容器集群中选择所述目标函数对应的第一执行容器，包括：

当所述消息中间件中所述容器集群对应的部署策略为内置模式时，选择所述第一服务器中内置的执行容器为所述目标函数对应的第一执行容器。