[发明专利]一种结合探点和镜像分光流量的监控系统

说明书

技术领域

本发明涉及远程监控技术领域，尤其涉及一种结合探点和镜像分光流量的监控系统。

背景技术

现在全世界每天通过互联网产生的在线服务请求次数平均达到了800亿次，在线服务的健康和安全是所有互联网企业的生命线。在线服务必须具备可靠性(满足用户服务体验)、可用性(遵循服务级合约)、可服务性(提供数据取证)和安全性(防范安全攻击)。

因此数据中心内部必须部署实时监测系统，对服务健康进行不间断地监控。一旦发现服务出现健康隐患时，需要马上报警，提供可信的故障分析，使服务商及时采取对应措施，消除不良的商业后果。

服务器是网络中不可缺少的关键部分，起着保存各种信息数据、提供各种服务的重要作用。如在大部分网络游戏中，都是通过公司所架设的服务器来提供游戏，玩家则通过公司所提供的客户端来连上这些服务器以进行游戏。

这些服务器都是根据区域进行设置的，即不同区域设置专门针对该区域用户的服务器。继续以网络游戏为例，游戏运营公司都会根据区域的不同设置相应的服务器，例如提供华南服务器针对华南地区，提供华东服务器针对华东地区等。

由于服务器都是分散分布的，如何保证每个服务器正常工作是一个困难的任务。以往技术中，服务器的异常一般都是要靠用户发现然后联系客服进行维护，这种方式效率底下，花费时间长，极大地影响了服务的正常提供工作

现有技术下，对软件或者硬件进行监控的监控系统包括监控代理和监控服务器，其中监控代理由监控启动器、监控点、监控逻辑代码以及监控数据存储等四个部分组成，这四个部分是固化在监控代理的代码实现中的。在分布式多种应用同时存在的情况下，现有的监控代理给监控系统的部署和维护带来了极大的难度和不可扩展的局限性，并且为了对多种类型的软硬件进行监控，监控代理中需将有大量的监控不同软硬件的监控逻辑代码、监控点等信息，导致监控代理中的实现代码很大，浪费了很多资源。

发明内容

本发明的目的在于：针对现有技术中存在的上述技术问题，提供一种结合探点和镜像分光流量的监控系统。

本发明是通过以下技术放案实现的：一种结合探点和镜像分光流量的监控系统，分别为在自己的数据中心服务器里采用流量镜像或者分光方式将流量直接导出给监控系统处理，以及在云主机中安装probe方式采集数据给监控系统处理，最后将处理分析的结果发送给用户或者在Web界面上展示给用户。

进一步，所述的在云主机中安装probe方式的系统包括：数据采集子系统、分布式消息队列、数据存储子系统和数据处理分析子系统；

所述的数据采集子系统包括网络流量收集模块和网络流量预处理模块；

所述的数据处理分析子系统由实时处理模块、批处理/NRT处理模块、离线处理模块和查询引擎/作业调度系统组成。

批处理/NRT处理模块接收来自查询引擎的用户的查询请求，负责将网络数据处理模块/协议识别模块传过来的特定格式的网络统计数据保存到文件中，传过来的自定义格式的CDR(主要用于保存一些应用层的和事务相关的信息)保存到数据库中。按照用户指定的条件检索出相应信息以特定格式回送给查询引擎。

这个模块最重要的功能是如何让用户能够随心所欲地查询信息，支持多维度，多条件的查询，维度和条件用户可以自由指定。用户采用SQL语言进行查询。为了提高查询的速度和效率，以及处理能力的可扩展性，这个模块采用分布式内存计算系统实现。

离线处理模块主要做低优先级的数据聚合工作。在基础数据保存的同时，统计聚合引擎会实时对基础数据进行两次统计，生成分钟、小时、天粒度的聚合统计数据，同时也会统计基于如URL/Host/IP等等用户关心的域的统计信息。聚合结果以JSON格式保存到分布式文件系统中。数据聚合程序需要实时对基础数据进行统计，然后分成不同时间粒度把聚合数据进行保存。时间粒度主要是分钟、小时、天等几种，具体值可以自定义。数据聚合程序通过Hadoop工作调度工具，在时间间隔的尾时间点自动唤醒，然后对周期数据进行分类聚合。另外，数据分析查询模块还有任务调度子模块，负责所有分析查询请求的运行调度。

查询引擎负责接收来自用户的查询请求，翻译成相应的查询语言(当前版本为SQL)，通过HTTP RESTful接口提交给数据分析查询模块，获取查询结果后，再把结果转换成用户需要的格式返回给用户。

Web用户界面这个模块负责把分析后的结果在Web界面上展示给用户。包括一个Web server及上面的Web用户界面。