[发明专利]一种大规模流式集合数据的分布式处理方法

摘要

本发明涉及一种大规模流式集合数据的分布式处理方法，属于计算机数据处理技术领域。首先基于分布式消息系统记录流式集合数据的完备状态，如果流式集合数据完备则消息系统生成对应的消息，分布式计算系统从分布式消息系统中提取流式集合数据的状态消息，将获取的流式集合数据存储到分布式存储系统，根据具体的处理算法和业务逻辑进行分布式处理和计算，并将处理结果存储到分布式存储系统中，完成对流式集合数据的处理。本发明方法可以有效的控制流式集合数据的处理流程，并利用集合数据的批量式计算提高系统的资源利用率。本方法可以快速、有效地处理目前日益增长的流式集合数据，十分适用于工业物联网、气象信息网等典型的大数据应用场景。

主权项

1.一种大规模流式集合数据的分布式处理方法，其特征在于该处理方法包括以下步骤：(1)监控系统从数据源接收集合数据，将接收的集合数据记为记当前分布式存储系统的写入队列长度为w_current，分布式存储系统的最大写入队列长度为w_max，对当前分布式存储系统的写入队列长度进行判断，若0＜w_currennt＜w_max，则进入步骤(2)；若w_current≥w_max，则监控系统将接收的集合数据写入监控系统的磁盘，并记写入磁盘的集合数据为s_store，继续接收集合数据，重复本步骤，若w_current＝0，则访问磁盘上的s_store，并对磁盘上的s_store进行判断，若s_store存在，则进入步骤(2)，若s_store不存在，则重复本步骤；(2)根据集合数据中的头信息，所述头信息为集合数据中的成员数n，监控系统对集合数据进行判断，记接收的集合数据当前到达的成员数为s_current，若s_current＝n，则监控系统将集合数据存储到分布式存储系统中，进入步骤(3)，若s_current＜n，则返回步骤(1)；(3)监控系统将集合数据中在分布式存储系统中的消息，所述消息为集合数据在分布式存储系统中的表名与行、列位置，发送至分布式消息系统中，分布式消息系统将接收的消息写入分布式消息系统的消息队列Q中，记当前分布式消息系统队列中的所有消息为I_current，设定一个消息队列Q的长度阈值为L_max，并记当前消息队列的长度为L_current，根据消息队列Q的长度阈值L_max，对消息队列Q的长度进行判断，若L_current≥L_max，则将I_current中的L_current/2的消息存储到分布式消息系统的磁盘中，并记存储至磁盘中的消息为I_store，重复本步骤，若L_current＝0，则访问分布式消息系统的磁盘，并对磁盘上的消息进行判断，若磁盘上存在消息I_store，则将消息I_store写入消息队列Q中，重复本步骤，若磁盘上不存在消息I_store，则返回步骤(1)，若L_max＞L_current＞0，则进行步骤(4)；(4)监控系统访问分布式存储系统，对分布式存储系统的写入队列长度进行判断，若w_current＜w_max，进入步骤(5)，若w_current≥w_max，重复本步骤；(5)分布式计算系统从分布式消息系统队列中Q中获取消息，设定分布式计算系统最少处理的消息阈值为L_min，获取消息的时间阈值为t_mmax，记当前获取消息的等待时间为t_wait，对分布式消息系统中的消息队列Q进行判断，若分布式消息系统的消息队列Q中L_current≥L_min，且t_wait≤t_max，则分布式计算系统从分布式消息系统的消息队列Q中获取消息，进入步骤(6)，若分布式消息系统的队列Q中L_current＜L_min，或t_wait＞t_max，则放弃本次获取的消息，返回上述步骤(2)；(6)分布式计算系统根据获取的消息，从分布式存储系统中获取相应的集合数据，并对从分布式存储系统中获取的集合数据进行判断，若分布式存储系统中存在与获取的消息相对应的集合数据，则进行步骤(7)，若分布式存储系统中不存在与获取的消息相对应的集合数据，则返回上述步骤(2)；(7)分布式计算系统根据步骤(6)获得的集合数据，通过处理算法和业务逻辑对集合数据进行分布式的处理和计算，得到计算结果，并通知监控系统计算完成；(8)记分布式计算系统写入分布式存储系统的最大等待时间为save_max，当前等待时间为save_current，监控系统对分布式计算系统写入分布式存储系统的等待时间进行判断，若save_current≥save_max，则返回步骤(6)，若save_current＜save_max，则监控系统根据获取的消息，将分布式计算结果存储到分布式存储系统的相应位置。