[发明专利]基于流式计算的数据监控方法及装置

说明书

本发明提供了一种基于流式计算的数据监控方法及装置，数据监控方法包括：通过分布式发布订阅消息系统KAFKA获取服务被调用的日志信息；采用分布式流式处理方法Spark streaming对日志信息进行分析处理，获得日志明细信息和日志汇总信息；将所述日志明细信息写入到分布式文件系统HDFS中，并将所述日志汇总信息存储至关系型数据库管理系统MYSQL中。本发明提供的基于流式计算的数据监控方法及装置，有效地解决了现有技术中存在的会对MySQL数据库造成巨大的压力，同时也会减缓计算速度和数据的显示速度的问题，提高了数据处理效率，同时减缓了对MySQL数据库造成的数据压力，进而提高了该数据监控方法应用的稳定可靠性，有利于市场的推广与应用。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种基于流式计算的数据监控方法及装置。

背景技术

随着互联网技术的飞速发展，网络业务量不断增大，业务方的不断增多，使得服务被调用的次数明显增大，进而对网络的大数据处理提出了较高要求；现有技术中，通过storm流式计算框架接收服务请求日志信息，经由storm做简单处理后，将明细数据写入到MySQL中。

然而，在实施本技术方案的过程中，发现现有技术存在以下缺陷：由于storm接收数据的方式只支持阻塞方式的消息队列，消息只能通过实时的接收，在访问量暴增的情况下，storm对于MySQL的实时写入压力会同时暴增，会对MySQL数据库造成巨大的压力，同时也会减缓计算速度和数据的显示速度。

发明内容

本发明实施例提供一种基于流式计算的数据监控方法及装置，可以有效克服现有技术中存在的会对MySQL数据库造成巨大的压力，同时也会减缓计算速度和数据的显示速度的问题。

本发明实施例的一方面提供了一种基于流式计算的数据监控方法，包括：

通过分布式发布订阅消息系统KAFKA获取服务被调用的日志信息；

采用分布式流式处理方法Spark streaming对日志信息进行分析处理，获得日志明细信息和日志汇总信息；

将所述日志明细信息写入到分布式文件系统HDFS中，并将所述日志汇总信息存储至关系型数据库管理系统MYSQL中。

如上所述的基于流式计算的数据监控方法，所述通过分布式发布订阅消息系统KAFKA获取服务被调用的日志信息，具体包括：

通过预设的监控埋点AGENT从服务端中获取服务被调用的日志信息；

将所述日志信息写入到所述KAFKA中预先创建的TOPIC中。

如上所述的基于流式计算的数据监控方法，所述采用分布式流式处理方法Sparkstreaming对日志信息进行分析处理，具体包括：

采用预设的汇总算法对所述日志信息进行分析处理，获得所述日志汇总信息。

如上所述的基于流式计算的数据监控方法，所述采用分布式流式处理方法Sparkstreaming对日志信息进行分析处理，具体包括：

获取KAFKA中所述TOPIC的TOPIC信息；

根据所述TOPIC信息并按照预设的采集周期从所述KAFKA中拉取相应的所述日志明细信息。

如上所述的基于流式计算的数据监控方法，在将所述日志汇总信息存储至关系型数据库管理系统MYSQL中之后，所述方法还包括：

接收用户发送的查询指令，所述查询指令中包括查询时间；

根据所述查询指令从所述MYSQL中查找与所述查询时间相对应的日志汇总信息，并显示所查找到的日志汇总信息。

本发明的又一方面提供了一种基于流式计算的数据监控装置，包括：