[发明专利]一种中间件异常监测装置以及方法

说明书

本发明公开了一种中间件异常监测装置以及方法，上述方法包括如下步骤：agent启动后，通过agent或流量镜像采集相关中间件的Metrics，经过初步处理，以时序数据的形式实时写入消息队列和TSDB中进行保存；从TSDB中定期读取各中间件的Metrics，区分不同中间件Metrics的偏度，并据此选择合适模型进行监测模型的建立；基于Storm通过监测模型对消息队列中的Metrics进行实时流处理后进行多端异常告警，本发明能从TSDB中定期读取中间件的Metrics，区分不同中间件Metrics的偏度，并据此选择合适模型进行监测模型的建立；监测模型通过流式处理引擎，可以处理实时采集得到的大规模毫秒级数据，实时监测异常，适配主流的中间件，且不影响中间件本身的服务稳定性。

技术领域

本发明涉及一种监测方法，尤其涉及一种用于中间件异常监测方法以及装置。

背景技术

当前各行业的IT系统大量使用了各类国外中间件，如Kafka、MySQL、MongoDB和OpenTSDB等，对于中间件的性能、安全等异常监测日趋重要，当前的DevOps工具主要针对最终应用，并不能将监测前移到最终应用所使用的中间件。

在使用中间件的过程中，通常会采用集群部署的方式，如何进行实时高效的大集群多节点运维是需要考虑的重要场景；传统的阈值告警方式，需要依赖用户积累的丰富运维经验，来进行规则配置，不能做到根据不同场景动态改变阈值，对降低实施难度、提高告警准确性方面有很大挑战。

针对同一类中间件，不同用户场景的告警阈值会有波动，即使是同一用户场景的同一类中间件，本身也会随着时间、业务量等因素发生一定范围的合理波动，异常监测算法如何适配这类因素，也是一个亟待解决的问题。

发明内容

本发明目的是为了克服现有技术的不足而提供一种通过agent或流量镜像采集中间件的Metrics，用于后续的异常监测算法；从TSDB中定期读取中间件的Metrics，区分不同中间件Metrics的偏度，并据此选择合适模型进行监测模型的建立来监测异常，然后监测模型通过流式处理引擎，可以处理实时采集得到的大规模毫秒级数据，适配主流中间件的中间件异常监测装置以及方法。

为达到上述目的，本发明采用的技术方案是：一种中间件异常监测方法，包括如下步骤：

agent启动后，通过agent或流量镜像采集相关中间件的Metrics，经过初步处理，以时序数据的形式实时写入消息队列和TSDB中进行保存；

从TSDB中定期读取各中间件的Metrics，区分不同中间件Metrics的偏度，并根据不同偏度选择对应的模型建立监测模型；

监测模型基于Storm对消息队列中的时序数据进行实时流处理后进行多端异常告警。

进一步的，所述监测模型的建立流程如下：

对TSDB中保存的时序数据进行数据清洗和数据预处理；

对时序数据进行概念漂移检测，然后截取时序列表，接着通过ADF检验来判断时序序列是否平稳，如果存在单位根就是非平稳时间序列，继续流程，反之，则通过箱形图建模；

继续流程时，对截取时序数据进行时序周期性分析，再根据周期性分析对数据按时间窗口分桶后计算得出偏度，最后低、中和高偏度分别通过MAD、平滑移动模型和箱形图进行建模。

进一步的，所述概念漂移检测的流程如下：

a)从时序数据中获取N个采样点信号值作为初始排序列，对初始排序列从小到大进行排序，得到中值；

b)中值平滑后的序列数据进一步分析，如果每个点都大于前序点位，则该序列为单调递增，反之，则为单调递减；如果存在长期趋势，则不存在漂移，判断逻辑终止；