[发明专利]基于流式计算的数据监控方法及装置

权利要求书

1.一种基于流式计算的数据监控方法，其特征在于，包括：

通过分布式发布订阅消息系统KAFKA获取服务被调用的日志信息；

采用分布式流式处理方法Spark streaming对日志信息进行分析处理，获得日志明细信息和日志汇总信息；

将所述日志明细信息写入到分布式文件系统HDFS中，并将所述日志汇总信息存储至关系型数据库管理系统MYSQL中；

其中，所述采用分布式流式处理方法Spark streaming对日志信息进行分析处理，具体包括：

采用预设的汇总算法对所述日志信息进行分析处理，获得所述日志汇总信息。

2.根据权利要求1所述的基于流式计算的数据监控方法，其特征在于，所述通过分布式发布订阅消息系统KAFKA获取服务被调用的日志信息，具体包括：

通过预设的监控埋点AGENT从服务端中获取服务被调用的日志信息；

将所述日志信息写入到所述KAFKA中预先创建的TOPIC中。

3.根据权利要求2所述的基于流式计算的数据监控方法，其特征在于，所述采用分布式流式处理方法Spark streaming对日志信息进行分析处理，具体包括：

获取KAFKA中所述TOPIC的TOPIC信息；

根据所述TOPIC信息并按照预设的采集周期从所述KAFKA中拉取相应的所述日志明细信息。

4.根据权利要求1-3中任意一项所述的基于流式计算的数据监控方法，其特征在于，在将所述日志汇总信息存储至关系型数据库管理系统MYSQL中之后，所述方法还包括：

接收用户发送的查询指令，所述查询指令中包括查询时间；

根据所述查询指令从所述MYSQL中查找与所述查询时间相对应的日志汇总信息，并显示所查找到的日志汇总信息。

5.一种基于流式计算的数据监控装置，其特征在于，包括：

获取模块，用于通过分布式发布订阅消息系统KAFKA获取服务被调用的日志信息；

处理模块，用于采用分布式流式处理方法Spark streaming对日志信息进行分析处理，获得日志明细信息和日志汇总信息；

存储模块，用于将所述日志明细信息写入到分布式文件系统HDFS中，并将所述日志汇总信息存储至关系型数据库管理系统MYSQL中；

其中，所述处理模块，具体用于：

采用预设的汇总算法对所述日志信息进行分析处理，获得所述日志汇总信息。

6.根据权利要求5所述的基于流式计算的数据监控装置，其特征在于，所述获取模块，具体用于：

通过预设的监控埋点AGENT从服务端中获取服务被调用的日志信息；

将所述日志信息写入到所述KAFKA中预先创建的TOPIC中。

7.根据权利要求6所述的基于流式计算的数据监控装置，其特征在于，所述处理模块，具体用于：

获取KAFKA中所述TOPIC的TOPIC信息；

根据所述TOPIC信息并按照预设的采集周期从所述KAFKA中拉取相应的所述日志明细信息。

8.根据权利要求5-7中任意一项所述的基于流式计算的数据监控装置，其特征在于，所述数据监控装置还包括：

接收模块，用于在将所述日志汇总信息存储至关系型数据库管理系统MYSQL中之后，接收用户发送的查询指令，所述查询指令中包括查询时间；

显示模块，用于根据所述查询指令从所述MYSQL中查找与所述查询时间相对应的日志汇总信息，并显示所查找到的日志汇总信息。