[发明专利]一种分布式监控系统及其数据存储方法

说明书

技术领域

本发明涉及一种网络管理领域，尤其涉及一种分布式监控系统及其数据存储方法。

背景技术

随着信息技术和市场的发展，现代计算机平台包括存储、网络、计算等各种大量的分布式环境下异构的、动态的、复杂的资源，为了能够及时了解各种资源的情况，分布式监控系统也就应运而生。分布式监控系统用于监控计算机平台上硬件资源、虚拟资源和多种服务的状态和使用情况，以便及时采取相应措施，完成节点同步配置、负载均衡和资源监控，确保资源优化地分给用户。还能监控计算机平台上出现的故障或将来可能出现的问题提前预警、追查和定位问题的根源。

目前，常用的监控方式主要有如下几种：

（1）基于SNMP(Simple Network Management Protocol,简单网络管理协议)的监控方式，SNMP由一组网络管理的标准组成，包含一个应用层协议（application layer protocol）、数据库模型（database schema），和一组资料物件，该协议能够支持网络管理系统，用以监测连接到网络上的设备是否有任何引起管理上关注的情况；

（2）基于JMX（Java Management Extensions，即Java管理扩展）的监控方式，它是由SUN创建的一套规范，在Java编程语言中定义了应用程序以及网络管理和监控的体系结构、设计模式、应用程序接口以及服务；

（3）基于WSDM的监控方式，WSDM是一个用于描述特定设备、应用程序或者组件的管理信息和功能的标准，所有的描述都是通过Web服务描述语言（Web Services Description Language，WSD）进行的。

然而无论采用哪种方式，最终的监控数据都是以一种特定的格式存储在文件或数据库中，供用户查询和处理。

将数据存储在文件中，可以通过内存操作加快读写速度，但是监控的数据量非常大，但却使得使数据的安全性无法保证，且数据的查询检索也比较困难；将数据存储在数据库中，数据的安全性能够得到保障，同时查询检索效率也得到了提高，但是大量数据如果同时写入数据库，又会出现新的隐患，造成因低效的数据库写入而导致的数据写入拥堵及内存占用大的问题，甚至会导致服务器故障。

发明内容

本发明所要解决的技术问题之一是需要提供一种既能尽量保证监控数据的安全性及查询效率又能够尽量避免因低效的数据库写入而导致的数据写入拥堵及内存占用大的问题的分布式监控系统及其数据存储方法。

为了解决上述技术问题，本发明提供了一种分布式监控系统的数据存储方法。该方法包括：监控端获取来自一个或多个被监控主机的监控数据；将包括所获取的监控数据的监控结果写入监控结果文件中；将监控结果文件的数据转换成数据流写入缓冲区，再将写入到缓冲区中的数据写入数据库。

所述监控端获取来自一个或多个被监控主机的监控数据的步骤，进一步包括：所述监控端通过运行监控脚本连接一个或多个被监控主机并向其发出监控请求；作为对所述监控请求的响应，所述被监控主机向所述监控端发送关于其运行状况的监控数据。

进一步，所述作为对所述监控请求的响应、所述被监控主机向所述监控端发送关于其运行状况的监控数据的步骤中，用于存储所述监控数据的数据结构包括表示被监控对象的运行状态的变量和表示被监控对象输出结果的变量。

进一步，所述监控数据至少包括主机监控数据和/或服务监控数据，其中，将所获取的服务监控数据作为对该监控主机的服务监控结果以预先设定的结构写入监控结果文件；以及/或者将被监控主机的配置信息与所获取的相应被监控主机的主机监控信息的组合作为对该监控主机的监控结果，以预先设定的结构写入监控结果文件。

在将监控结果文件的数据转换成数据流写入缓冲区、再将写入到缓冲区中的数据写入数据库的步骤中，监控端在检测到存在空闲socket时，将监控结果文件的数据换成数据流写入异步socket连接的缓冲区，再将写入到缓冲区中的数据写入数据库。

其中，所述将监控结果文件的数据转换成数据流写入缓冲区、再将写入到缓冲区中的数据写入数据库的步骤，进一步包括：在所有所述监控结果文件中筛选要写入数据库的文件；将筛选要写入数据库的文件的数据转换成数据流写入缓冲区，再将写入到缓冲区中的数据写入数据库。