[发明专利]一种基于消息中间件的数据库性能实时监控和诊断方法和系统

说明书

本发明公开了一种基于消息中间件的数据库性能实时监控和诊断方法和系统，所述方法包括：采集数据库所在节点的数据库系统运行特征和操作系统运行特征；将采集的数据发送到消息中间件；控制节点从消息中间件实时获取所述数据并存储；以所述数据为输入，以数据库性能指标为输出，训练性能模型；实时调用所述性能模型，根据模型输出的信息，定位影响性能指标的数据库操作，指导系统管理员进行问题处置。所述系统采用上述方法进行实时监控和诊断。本发明将采集的数据通过消息中间件传输到控制节点，控制节点通过采集到的数据建立性能模型，实时调用所述性能模型，根据输出信息，定位影响性能指标的数据库操作，达到实时、智能诊断、大规模管理的目的。

技术领域

本发明涉及数据库技术领域，尤其涉及数据库性能监控和诊断技术。

背景技术

数据库是信息化基础设施的核心组件，数据库异常诊断和性能优化是软件开发人员、数据库管理员(以下简称DBA)和系统运维工程师等岗位面临的重要问题，是各种业务系统能够稳定运行的关键。业务系统在使用数据库时，一般要考虑两个性能指标：第一个指标是时延，指的是一个请求(对数据库表格的增加、删除、查询或修改等操作)从提交到完成需要的时间，例如10毫秒，这个指标的值越小越好。第二个指标是吞吐，指的是数据库单位时间内能够处理的请求值，例如1200请求/秒，这个值越大越好。通常情况下，这两个性能只有保持在一定的范围内，业务系统才能正常运行。

由于硬件故障(例如硬盘损坏)、软件故障(例如不合理的SQL语句)等原因，会导致数据库失效或性能急剧下降，以致业务中断。例如性能指标时延从10毫秒变成了5秒。传统的数据库异常诊断和性能优化方法过程如下：数据库失效或性能急剧下降以后，DBA接到用户反馈，首先查看数据库系统运行日志文件，利用DBA个人经验，依据数据库日志文件例如binlog提示信息，分析和定位问题，尝试解决方案并实施，这个过程会重复多次直到数据库恢复正常，业务系统正常运转。

具体地，针对MySQL的监控工具pt-query-digest和MySQLdumpshow分别都实现了对慢日志进行分析和可视化显示，Percona Toolkit工具集也提供了一系列的工具来监控MySQL数据库。但是，这些工具都过于依赖运维人员的个人经验。

中国专利“CN111459905A MySQL数据库监控脚本的实现方法及系统”提出了一种基于Python实现的监控脚本，从数据库运行日志中获取一些系统运行状态，例如增加、删除、修改和查询操作次数，平均等待时间，慢查询量。进一步计算一些特征指标如缓存命中率等。该方法做到了间隔时间数据采集和显示，但是没有直接提供智能诊断和性能优化的功能。

已有的数据库异常诊断和性能优化方法存在三个主要缺陷，分别是：

一、非实时，DBA总是在数据库出现问题以后，才能着手开始分析日志，定位解决问题，而这时已经对业务系统的正常运行产生了不良影响；

二、缺少智能诊断，解决问题的效率严重依赖于DBA个人经验，而优秀的DBA雇佣成本很高，或需要长时间的成长；

三，规模小，一位DBA一次只能处理一台数据库服务器，如果业务系统使用了多台服务器，一位DBA很明显无法应对。

发明内容

本发明的目的在于提供一种基于消息中间件的数据库性能实时监控和诊断方法，旨在解决现有方法非实时、缺少智能诊断、规模小的技术问题。

为达到上述目的，本发明提供的方案是：一种基于消息中间件的数据库性能实时监控和诊断方法，所述方法包括：采集数据库所在节点的数据库系统运行特征；采集数据库所在节点的操作系统运行特征；将采集的数据库系统运行特征和操作系统运行特征发送到消息中间件；控制节点从消息中间件实时获取所述数据库系统运行特征和操作系统运行特征并存储；以所述数据库系统运行特征和操作系统运行特征数据为输入，以数据库性能指标为输出，训练性能模型；实时调用所述性能模型，根据所述性能模型输出的信息，定位影响性能指标的数据库操作，指导系统管理员进行问题处置。