[发明专利]基于跨站切换采集实现业务数据恢复的方法

说明书

技术领域

本发明涉及电信运营商网络性能管理系统技术领域，具体涉及一种基于跨站切换采集实现业务数据恢复的方法。

背景技术

随着电信运营商网络的演进和网络环境日益复杂，为了更加实时和有效的监控网络性能和变化趋势，支撑网络运营，网络性能管理系统的数据采集至关重要。

现实的网络环境具有多厂商、多网络域、多技术领域的特点，需要采集性能数据、配置数据、参数数据、存量数据等原始数据，提供给Report、Dashboard、Instance Query、TroubleShooting等上层应用进行网络性能问题根因分析和故障解决。

数据采集面临以下实际情况的约束：

1）数据源种类多种多样，包括网管系统（EMS）上的数据采集，如M2000，U2000等EMS系统；Flow流数据，各种厂商的流数据包括sFlow,netFlow,cFlow等；直连网元MIB节点的数据；

2）数据源数量众多，单位时间内每个数据源输出的原始数据量很大，直接导致采集节点采集到的数据量巨大，最终汇总到数据采集系统的原始数据为海量数据；

3）数据源分部地域广阔，各数据源和数据采集系统在不同的局域网内，他们之间的Internet网络连接存在网络不稳定、带宽有限等情况，对原始数据的传输会有很大影响；

4）远端采集机与数据采集系统在不同局域网，如果远端采集机出现异常，将无法正常采集数据，直接导致业务数据的中断。

由于不同采集机分布部署在不同区域位置的站点，当远端采集机宕机或者异常时，无法通过VCS切换完成恢复，这样会导致无法正常采集，业务数据中断。

因此，需要一种数据采集机制来解决远程跨网络采集业务数据恢复的问题。

发明内容

本发明要解决的技术问题是：本发明针对运营商网络部署在不同地域、数据源数量庞大、数据实时性、完整性要求高的特点，提供一种基于跨站切换采集实现业务数据恢复的方法。

本发明所采用的技术方案为：

基于跨站切换采集实现业务数据恢复的方法，所述方法通过数据采集系统生成性能数据采集任务，将采集任务下发给各个采集机，同时部署一个监控采集任务下发目录的监控服务，定时监控采集任务下发目录的状态，判断采集机是否运行异常，将异常采集机的采集任务切换到备用的正常采集机上进行。

所述方法具体的执行步骤如下：

步骤1：数据采集系统根据采集规则、采集对象和属性生成性能数据采集任务；

步骤2：数据采集系统根据各采集机的分布式部署情况协调分配各采集机的采集任务，将采集任务下发到事先定义好的任务下发目录；

步骤3：数据采集系统部署一个监控服务，定时扫描、遍历、监控任务下发目录下的所有采集类型的采集机目录的状态，并根据任务下发目录的时间戳来判断各采集机是否按时过来获取采集任务：如果任务下发的时间戳超时，则进入步骤4；如果没有超时，则进入步骤7；

步骤4：发送短信和邮件给管理员进行通知和提醒，短信和邮件内容需要确定；

步骤5：管理员人工确认采集机是否真的有问题，如果该采集机确实有问题，则将问题采集机A机的采集任务切换到备用采集机B机上；同时记录问题采集机A机的哪些采集任务切换给了B机；

步骤6：当采集机A机恢复正常时，将B采集机上原本属于A采集机的采集任务重新切回到A采集机；

步骤7：各采集机将采集到的性能数据文件打包压缩，并通过SFTP协议上传到数据采集系统的指定目录下；

步骤8：数据采集系统检测到新上传的性能数据压缩文件后，进行解压和数据解析，将文件和数据存放到系统指标目录以及入库，供其它上层应用使用。

所述采集系统能对接不同的网管系统，提供数据采集和解析的能力，包括性能数据、配置数据、参数数据、存量数据，输出标准的数据采集接口格式的文件，供采集平台入库，为各个上层应用模块提供原始数据的支持。

所述采集系统为适配各种网管系统，对底层的采集协议进行了公共组件化的抽象，以公共组件的方式提供了通用的采集协议接口，并统一规定了所有EAM包的工作目录的结构、用途和方法，各个EAM包根据需要设置个性化参数，EAM包通过EAM包管理程序进行统一安装部署；在安装EAM包的过程中，除了做EAM程序拷贝部署以外，还会执行EAM包提供的初始化SQL脚本，实现对EAM包相关数据的初始化。

所述系统通过采集机监控模块定时监控采集任务下发目录，通过crontab定时执行。