[发明专利]一种流数据处理方法、系统、装置及计算机可读存储介质

说明书

本申请公开了一种流数据处理方法，从消息型队列中获取流数据，即此时消息型队列的输出数据为Flink的输入数据，借助消息型队列对初始流数据进行了一次处理，接着利用预设的数据解析规则将接收到的流数据一一解析成键值对事件，以充分结合现今被广泛使用的关系型数据库实现对数据和其对应关系的保存，便于后续基于SQL实现对数据的处理，同时还利用数据分析引擎从多方面、多角度进行数据分析，提升分析结果的准确程度，在应用了本申请提供的数据流处理方法的Flink框架上，可实现对传统流数据业务的快速展开，与现有工具结合更加紧密，效率更高。本申请还同时公开了一种流数据处理系统、装置及计算机可读存储介质，具有上述有益效果。

技术领域

本申请涉及数据处理技术领域，特别涉及一种流数据处理方法、系统、装置及计算机可读存储介质。

背景技术

在数据处理领域，数据在某种划分方式下可被划分内批数据和流数据两类，相较于静态的存储于固定地点的、有界的批数据，流数据因其源源不断的特性在处理的过程中明显区别于批数据，且处理难度较大。

现存在多种可用于处理流数据的框架，例如仅用处理流数据的Storm和Samza流处理框架，以及不仅能够处理流数据还能够实现对小规模批数据进行处理的Flink框架，这是因为Flink能够大规模执行，具有非常高的吞吐量，即使在无序或者数据延迟的情况下也能提供正确的结果，并且它是拥有状态和容错能力，可以从故障中恢复。

单纯的Flink的功能较为单一，Flink SQL在实际应用中功能有限，Flink CEP使用较为复杂功能也不够完备，不便于快速的对基于诸如系统日志、文件调动、设备状态监控等流数据展开相关业务。

因此，如何克服现有仅单一的使用Flink来实现对流数据的处理和业务展开过程存在的缺陷，提供一种功能更丰富、业务展开速度更快、分析效率更高、与实际应用场景结合更紧密的流处理处理机制是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种流数据处理方法，从消息型队列中获取流数据，即此时消息型队列的输出数据为Flink的输入数据，借助消息型队列对初始流数据进行了一次处理，接着利用预设的数据解析规则将接收到的流数据一一解析成键值对事件，以充分结合现今被广泛使用的关系型数据库实现对数据和其对应关系的保存，便于后续基于SQL实现对数据的处理，同时还利用数据分析引擎从多方面、多角度进行数据分析，提升分析结果的准确程度，在应用了本申请提供的数据流处理方法的Flink框架上，可实现对传统流数据业务的快速展开，与现有工具结合更加紧密，效率更高。

本申请的另一目的在于提供了一种流数据处理系统、装置及计算机可读存储介质。

为实现上述目的，本申请提供一种流数据处理方法，应用于Flink框架，该流数据处理方法包括：

从消息型队列中获取流数据；

利用预设的数据解析规则解析所述流数据，得到各键值对事件，并为各所述键值对事件增加类型信息，得到各Schema信息；

接收输入的SQL流指令，并利用数据分析引擎按所述SQL流指令对各所述Schema信息进行分析，得到分析结果；

通过第一预设路径输出所述分析结果；

其中，所述SQL流指令中的各指令基于类SQL语法编写得到，所述类SQL语法为遵循ANSI SQL标准的SQL语法。

可选的，在从消息型队列中获取流数据之前，还包括：

利用Kafka以主题的方式处理初始流数据，得到所述流数据；

对应的，从消息型队列中获取流数据，具体为：

从所述Kafka中获取所述流数据。

可选的，接收输入的SQL流指令，包括：