[发明专利]一种分布式数据的获取方法及系统

说明书

技术领域

本发明涉及数据采集领域，尤指一种分布式数据的获取方法及系统。

背景技术

分布式数据有很多种类，其实kafka集群中的数据就是其中的一种。kafka全称是ApacheKafka，最初是由Linkedin公司开发并开源的一种分布式消息系统，因为其分布式及高吞吐率而被广泛使用。它可以处理网站中所有的动作流数据，这种动作(例如搜索、浏览)是现代网络中的许多社会功能的关键因素。

Kafka中涉及几个概念，生产者、消费者、broker、topic等。生产者即为生产数据的一方，英文为producer；消费者就是使用数据的一方，英文consumer；Broker即为kafka集群的节点，每个kafka集群由多个broker组成，这些broker相互关联，共同对外提供服务；Topic即为业务数据类型，比如路由器的心跳数据等。

当前分布式数据的获取方法一般是基于swoole来获取分布式数据；但是需要引入第三方插件swoole，使用比较麻烦，需要考虑兼容性问题，并且不方便对程序进行调试，也不方便完善错误程序。

目前使用php作为kafka消费者从kafka获取数据的方式都较为简单，采用的都是单一进程的方式，经常出现获取数据失败的情况，出现错误查找困难，获取数据的速度慢、获取的数据量小等问题。

因此，需要提供一种更为便捷、高效、数据获取成功率更高的分布式数据的获取方式。

发明内容

本发明的目的是提供一种分布式数据的获取方法及系统，提高了系统的兼容性，使分布式数据获取更为便捷、高效，成功率更高。

本发明提供的技术方案如下：

本发明提供了一种分布式数据的获取方法，包括步骤：S10创建守护进程；S20所述守护进程监听是否有原始数据的信息推送；S30若未监听到有所述原始数据的信息推送，所述守护进程继续保持监听状态；S40若监听到有所述原始数据的信息推送，根据所述原始数据的主题类型创建多个子进程，所述守护进程将所述原始数据分配给相应的子进程；S50所述子进程从所述原始数据中获取分布式数据。

优选的，步骤S50之后包括：S60所述守护进程读取预先设定在配置文件中的重启时间；S61所述守护进程根据读取到的重启时间，对所述子进程进行定时；S62当所述子进程的运行时间达到所述重启时间时，所述守护进程重新启动所述子进程。

优选的，步骤S50之后还包括：S70所述守护进程记录所述守护进程和所述子进程的工作日志；S71所述守护进程根据预先获取的所述原始数据，以及所述工作日志，同步所述守护进程和所述子进程的工作数据。

优选的，步骤S10中创建所述守护进程具体包括：S101清除文件掩码；S102创建一个进程；S103对所述进程进行处理，使所述进程脱离终端控制，成为所述守护进程。

优选的，步骤S50具体包括：S501所述子进程根据所述原始数据的业务类型，创建任务线程；S502所述任务线程从所述原始数据中获取所述分布式数据。

本发明还提供了一种分布式数据的获取系统，包括：守护进程创建模块，用于创建守护进程；监听模块，所述进程创建模块电连接，用于通过守护进程监听是否有原始数据的信息推送；所述监听模块还用于若未监听到有所述原始数据的信息推送，通过所述守护进程继续保持监听状态；子进程创建模块，用于若监听到有所述原始数据的信息推送，根据所述原始数据的主题类型创建多个子进程；分配模块，与所述进程创建模块电连接，用于通过所述守护进程将所述原始数据分配给相应的子进程；数据获取模块，与所述监听模块、进程创建模块电连接，用于通过所述子进程从所述原始分布式数据中获取分布式数据。

优选的，还包括：读取模块，用于通过所述守护进程读取预先设定在配置文件中的重启时间；定时模块，与所述读取模块电连接，用于通过所述守护进程根据读取到的重启时间，对所述子进程进行定时；重启控制模块，与所述定时模块电连接，当所述子进程的运行时间达到所述重启时间时，通过所述守护进程重新启动所述子进程。

优选的，还包括：日志记录模块，用于通过所述守护进程记录所述守护进程和所述子进程的工作日志；数据同步模块，用于通过所述守护进程根据预先获取的所述原始数据，以及所述工作日志，同步所述守护进程和所述子进程的工作数据。

优选的，所述守护进程创建模块还包括：处理子模块，用于清除文件掩码；创建子模块，用于创建一个进程；所述处理子模块还用于对所述进程进行处理，使所述进程脱离终端控制，成为所述守护进程。