[发明专利]一种利用多线程快速分析处理和分发数据的方法

说明书

技术领域

本发明属于Redis发布-订阅消息系统，涉及一种利用多线程快速分析处理和分发数据的方法。

背景技术

Redis发布-订阅模式实现进程间通信，订阅者可以订阅一个或多个频道（channel），而发布者可以向指定的频道发送消息，所有订阅次频道的订阅者都会收到消息。然而，当订阅和发布数很多时，以及存在复杂数据处理逻辑的时候，直接发布订阅则会受到处理性能的约束。

让所有请求快速响应及发布，以及减少彼此之间的相互影响对数据分析处理和分发有着重要意义。

发明内容

为保证数据分发处理的及时性和并发性，并有效地提高数据分发处理的效率。本发明的目的是提供一种利用多线程快速分析处理和分发数据的方法，能让所有请求快速响应及发布，以及减少彼此之间的相互影响，有效地提高数据分发处理的效率。

本发明的目的通过以下技术方案实现：

一种利用多线程快速分析处理和分发数据的方法，其特征在于该方法如下：

1）首先为每个数据终端定义终端安全码，为每一类数据分析机定义分析码，建立数据发布队列；

2）然后数据分析主线程根据获得的终端安全码创建终端队列线程，在数据分析子线程中分析数据请求内容，确定数据分析模式，然后发送到数据分析机中；

3）在数据分析机中处理具体的数据并保存到Redis中，同时向所有订阅有改数据的终端发送数据获取指令。

具体步骤如下：

步骤1：监听信息通道，实时获取从各个终端发布的请求信息；

步骤2：获取终端安全码，根据终端安全码创建和维护终端队列；

步骤3：获取数据处理机编码，信息处理子线程处理从队列中发布的信息内容；

步骤4：信息处理子线程处理数据，每一个数据处理机独立处理数据信息内容；

步骤5：信息处理子线程保存数据，根据数据格式要求构建数据结果信息到Redis中；

步骤6：信息处理子线程发布取数指令，订阅终端接受取数指令从redis获取数据；

步骤7：信息处理子线程向主线程发布数据获取情况信息，日志记录。

本发明引入多线程技术，采用生产者消费者模式。首先为每个数据终端定义了终端安全码，为每一类数据分析机定义分析码，建立数据发布队列，然后数据分析主线程根据获得的终端安全码创建终端队列线程，在数据分析子线程中分析数据请求内容，确定数据分析模式，然后发送到数据分析机中，在数据分析机中处理具体的数据并保存到Redis中，同时向所有订阅有改数据的终端发送数据获取指令。

本发明充分利用了多线程的优势，将各个阶段内容分离，能让所有请求快速响应及发布，以及减少彼此之间的相互影响，极大的提高了数据处理、分发的效率。

附图说明

图1是本发明中主线程工作流程图；

图2是本发明中子线程工作流程图；

图3是本发明中主线程与子线程消息传递示意图。

具体实施方式

下面结合附图和具体实施，对本发明的处理流程进一步详细阐述。

一种利用多线程快速分析处理和分发数据的方法：首先为每个数据终端定义终端安全码，为每一类数据分析机定义分析码，建立数据发布队列；然后数据分析主线程根据获得的终端安全码创建终端队列线程，在数据分析子线程中分析数据请求内容，确定数据分析模式，然后发送到数据分析机中；在数据分析机中处理具体的数据并保存到Redis中，同时向所有订阅有改数据的终端发送数据获取指令。

具体步骤如下：

步骤1：监听信息通道。实时获取从各个终端发布的请求信息。

步骤2：获取终端安全码。根据终端安全码创建和维护终端队列。

步骤3：获取数据处理机编码。信息处理子线程处理从队列中发布的信息内容

步骤4：信息处理子线程处理数据。每一个数据处理机独立处理数据信息内容

步骤5：信息处理子线程保存数据。根据数据格式要求构建数据结果信息到Redis中。

步骤6：信息处理子线程发布取数指令。订阅终端接受取数指令从redis获取数据

步骤7：信息处理子线程向主线程发布数据获取情况信息，日志记录。