[发明专利]慢查询统计分析方法、装置和系统

说明书

本发明涉及一种慢查询统计分析方法、装置和系统，利用预先构建的数据采集服务实时获取慢查询日志；对慢查询日志进行日志清洗，得到当前原始数据；将当前原始数据合并到原始数据集合中；根据前端设备发送的查询类型，对原始数据集合进行查询，确定目标明细数据；对目标明细数据进行分析，确定慢查询分析信息；将目标明细数据和慢查询分析信息发送到终端设备，以使终端设备输出目标明细数据和慢查询分析信息。采用本发明的技术方案，能够通过预设的数据采集服务实时获取慢查询日志，提高了慢查询分析的实时性，并且无需再登录到数据库服务器上拷贝慢查询日志，避免对数据的性能造成影响，不会暴露服务器的访问权限，提高了服务器的安全性。

技术领域

本发明涉及数据处理技术领域，具体涉及一种慢查询统计分析方法、装置和系统。

背景技术

慢查询是超过指定时间的SQL语句查询，慢查询日志则是记录执行超过指定时间的SQL语句的日志。现如今，快递公司的业务量逐步增长，数据库的数据量也越来越多，及时了解影响系统性能的慢查询能够更加及时解决系统的性能问题，提高对数据库的维护效率。

但是，传统的数据库慢查询日志分析均是在安装数据库的服务器上将慢查询日志拷贝到临时目录，通过服务器上安装的插件对该日志进行分析，该方法只能对历史的慢查询分析，实时性较差，并且每次都需要登录到安装数据库的服务器上进行操作，不仅对数据的性能会造成影响，服务器的安全性也无法得到保障。

发明内容

有鉴于此，本发明的目的在于提供一种慢查询统计分析方法、装置和系统，以解决现有技术中只能对历史的慢查询分析，实时性较差，并且每次都需要登录到安装数据库的服务器上进行操作，不仅对数据的性能会造成影响，服务器的安全性也无法得到保障的问题。

为实现以上目的，本发明采用如下技术方案：

一种慢查询统计分析方法，包括：

利用预先构建的数据采集服务实时获取慢查询日志；

对所述慢查询日志进行日志清洗，得到当前原始数据；

将所述当前原始数据合并到原始数据集合中，得到更新后的所述原始数据集合；

获取前端设备发送的查询类型；

根据所述查询类型，对所述原始数据集合进行查询，确定目标明细数据；

对所述目标明细数据进行分析，确定慢查询分析信息；

将所述目标明细数据和所述慢查询分析信息发送到终端设备，以使所述终端设备输出所述目标明细数据和所述慢查询分析信息。

进一步地，上述慢查询统计分析方法中，所述对所述慢查询日志进行日志清洗，得到当前原始数据之前，还包括：

将所述慢查询日志存储到预设的消息队列中间件中；

对应地，所述对所述慢查询日志进行日志清洗，得到当前原始数据，包括：

对所述消息队列中间件中的所述慢查询日志进行日志清洗，得到所述当前原始数据。

进一步地，上述慢查询统计分析方法中，所述根据所述查询类型，对所述原始数据集合进行查询，确定目标明细数据，包括：

若所述查询类型表示全部查询，将所述原始数据集合中的所有数据作为目标明细数据；

若所述查询类型表示自定义查询，将所述原始数据集合发送到预先构建的分布式搜索引擎中；

根据所述查询类型携带的自定义查询信息，利用所述分布式搜索引擎对所述原始数据集合进行搜索，得到与所述自定义查询信息匹配的自定义数据作为所述目标明细数据。