[发明专利]一种基于PaaS的网络设备流量采集方法及装置

说明书

本发明公开一种基于PaaS的网络设备流量采集方法及装置，其中，该方法包括：任务分发主应用周期性将需要采集对象插入缓存数据库服务中的任务分发队列；采集服务通过读取任务分发队列获取各自采集任务并排入各自任务列表；采集服务通过扫描各自任务列表内的任务，获取采集对象，进行SNMP采集，并采集当前时间点的端口字节计数器的计数值写入缓存中；采集服务将该采集对象的上次与本次计数值及采集时间组织为一条数据，写入消息队列服务的消息队列；分析服务读取消息队列，获取需要分析的数据，将分析计算得出的数据结构化存储到关系型数据库中。该方法及装置充分利用PaaS平台提供的组件，使用容器化技术实现高性能SNMP流量采集。

技术领域

本发明涉及SNMP流量采集领域，尤其是一种基于PaaS的网络设备流量采集方法及装置。

背景技术

传统SNMP流量采集是基于物理机/虚拟机部署分布式探针，通过在探针上下发任务列表并按列表顺序串行执行采集，可通过横向扩展服务器实现对海量采集对象的高效采集。

上述采集方式存在以下问题：

1、由于串行执行机制，使其不能支撑高频次SNMP(秒级)采集场景。

2、不支持灵活动态的作业调度，任务列表即固化了采集对象，无法根据负载动态调配采集。

发明内容

为了解决传统SNMP流量采集方式存在的上述问题，本发明提供一种基于PaaS的网络设备流量采集方法及装置，基于PaaS(Platform as a Service，平台即服务)平台提供的技术组件，充分利用容器化集群部署的技术优势，实现高性能SNMP流量采集。

为实现上述目的，本发明采用下述技术方案：

在本发明一实施例中，提出了一种基于PaaS的网络设备流量采集方法，该方法包括：

任务分发主应用周期性将需要采集的对象插入缓存数据库服务中的任务分发队列；

采集服务通过读取任务分发队列获取各自的采集任务，并将采集任务排入各自的任务列表；

采集服务通过扫描各自任务列表内的任务，获取需要采集的对象，进行SNMP采集，并采集当前时间点的端口字节计数器的计数值写入端口字节计数器缓存中；

采集服务将该需要采集的对象的上次与本次端口字节计数器的计数值及采集时间组织为一条数据，写入消息队列服务的消息队列；

分析服务读取消息队列服务的消息队列，获取需要分析的数据，将分析计算得出的数据结构化存储到关系型数据库中。

进一步地，采集服务中的若干采集服务实例，根据任务分发队列的大小配置阈值，实现动态拉起或挂起。

进一步地，采集服务每次从任务分发队列头部获取一个需要采集的对象，并插入各自的采集任务中。

进一步地，采集服务将该需要采集的对象的上次与本次端口字节计数器的计数值及采集时间组织为一条数据，写入消息队列服务的消息队列，包括：

采集服务读取端口字节计数器缓存中该需要采集的对象的上次端口字节计数器的计数值及采集时间；

若未获取到，则直接写入本次端口字节计数器的计数值及采集时间，采集结束；

若获取到，则先写入本次端口字节计数器的计数值及采集时间，再将上次与本次端口字节计数器的计数值及采集时间组织为一条数据，写入消息队列服务的消息队列。

进一步地，分析服务读取消息队列服务的消息队列，获取需要分析的数据，将分析计算得出的数据结构化存储到关系型数据库中，包括：