[发明专利]数据获取方法、数据获取设备和计算机可读存储介质

说明书

本发明提供了一种数据获取方法及其设备。在该方法中，主控模块确定与当前进程相关的目标网络设备列表；所述主控模块根据预设配置向一个或多个数据抓取模块定期通知所述目标网络设备列表中的目标网络设备；所述一个或多个数据抓取模块根据所述目标网络设备的地址向所述目标网络设备发送数据抓取请求；所述一个或多个数据抓取模块接收所述目标网络设备发回的数据抓取响应，所述数据抓取响应包括所要获取的原始数据；以及所述一个或多个数据抓取模块向一个或多个数据处理模块发送所获取的原始数据，以由所述一个或多个数据处理模块进行处理。上述方案通过轻量级并发方式大大提升服务器的抓取效率，利用数量较少的服务器资源，实现最大化数量网络设备的监控数据抓取和存储。

技术领域

本发明涉及数据获取领域，具体地，涉及监控设备的数据获取方法及其设备。

背景技术

互联网、云计算等IT产业在飞速发展的同时，也带动计算机和网络基础设置的快速建设。对于中大型互联网公司，每个机房都部署了成百上千台各种各样的网络设备：光纤、集线器、交换机、防火墙等。其中各种各样的交换机(TOR交换机、核心交换机、边界交换机等)构成了互联网公司机房的主体网络设备。

对于数量如此众多的网络设备，运维人员需要能够随时随地把握每个设备端口状态、流量等监控信息，以确保既能监控各网络设备的运行状态，又能做到对攻击和带宽不足及时预警。

然而，虽然各厂商都提供了丰富的管理和监控工具，但是这些工具都只是针对各厂商自己的产品。运维人员无法有效监控和查看全网设备数据。

此外，各网络厂商的自有监控工具数据储存粒度低，格式私有，并且大多不对外开放，导致无法基于这些数据进行深度分析和挖掘。

因此需要一种数据获取方法，其能够利用数量较少的服务器资源，实现最大化数量网络设备的监控数据抓取和存储。

发明内容

为了解决上述问题中的至少一些，本发明实施例提供了一种数据获取方法和一种数据获取设备。

根据本发明的一个方案，提供了一种数据获取方法，包括：主控模块确定与当前进程相关的目标网络设备列表；所述主控模块根据预设配置向一个或多个数据抓取模块定期通知所述目标网络设备列表中的目标网络设备；所述一个或多个数据抓取模块根据所述目标网络设备的地址向所述目标网络设备发送数据抓取请求；所述一个或多个数据抓取模块接收所述目标网络设备发回的数据抓取响应，所述数据抓取响应包括所要获取的原始数据；以及所述一个或多个数据抓取模块向一个或多个数据处理模块发送所获取的原始数据，以由所述一个或多个数据处理模块进行处理。

根据本发明的另一方案，提供了一种数据获取设备，包括主控模块、一个或多个数据抓取模块以及一个或多个数据处理模块，其中，所述主控模块用于确定与当前进程相关的目标网络设备列表，以及根据预设配置向所述一个或多个数据抓取模块定期通知所述目标网络设备列表中的目标网络设备；所述一个或多个数据抓取模块用于根据所述目标网络设备的地址向所述目标网络设备发送数据抓取请求，并接收所述目标网络设备发回的数据抓取响应，所述数据抓取响应包括所要获取的原始数据，以及向所述一个或多个数据处理模块发送所获取的原始数据；以及所述一个或多个数据处理模块用于对从所述一个或多个数据抓取模块接收到的数据进行处理。

根据本发明的另一方案，提供了一种数据获取设备，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上所述的数据获取方法。

根据本发明的另一方案，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上所述的数据获取方法。

上述方案通过轻量级并发方式大大提升服务器的抓取效率，利用数量较少的服务器资源，实现最大化数量网络设备的监控数据抓取和存储。

附图说明