[发明专利]一种流式数据处理方法与系统

说明书

本发明提供了一种流式数据处理方法与系统，本发明可将规模较大的文件存储在磁盘中，节省了大量内存，可以使用性能较低的服务器处理大规模数据内容的分析；大文件在分析过程的流转中以内存数据记录的形式存在，提高了分析效率；另外可按需动态加载文件内容，减少文件读写次数，降低了磁盘IO操作，提高了分析效率。

技术领域

本发明涉及流数据技术领域，特别是涉及一种流式数据处理方法与系统。

背景技术

流数据是指由多个数据源持续生成的数据，通常以数据记录的形式发送，对于持续生成动态新数据的大多数场景，与采用批量处理分析方式相比，采用流数据处理会更快的得到分析结论。

当前主流的流处理工具有Apache Spark Streaming、Apache Storm、Flink等。流处理中数据内容都被加载到内存中，数据一般为规模较小的结构化数据，如传感器数据、应用日志数据、用户点击数据以及交易数据等。当处理规模较大的非结构化数据时，需要提前将数据结构化，并增加服务器物理内存或采用集群方式部署。当前工具的处理模式在处理较大规模的结构化数据或批量小规模数据时存在分析效率低的问题。

发明内容

本发明的目的是提供一种流式数据处理方法与系统，旨在解决现有技术中流处理需要将非结构数据进行结构化且在大规模结构化数据下分析效率低的问题，实现节省大量内存，提高分析效率。

为达到上述技术目的，本发明提供了一种流式数据处理方法，所述方法包括以下操作：

读取所需处理的数据，并将读取的数据保存在存储组件中；

解析读取的数据文件内容，将需要分析的内容提取到内存中形成数据记录；

对数据记录进行分析处理，将数据记录内容匹配预先设置的关键字，如果命中则标记数据记录；

对于命中的数据记录，如果需要提取更加详细的内容时，按需读取存储组件中的内容，并加载到内存中的数据记录。

优选地，所述所需处理的数据为批量数据记录或大规模非结构化文档，为Office文件、PDF文件、视频文件以及音频文件的任意一种。

优选地，所述数据记录为包括原始文件存储路径、文件格式以及文件大小的元数据。

本发明还提供了一种流式数据处理系统，所述系统包括：

数据读取模块，用于读取所需处理的数据，并将读取的数据保存在存储组件中；

数据解析模块，用于解析读取的数据文件内容，将需要分析的内容提取到内存中形成数据记录；

分析模块，用于对数据记录进行分析处理，将数据记录内容匹配预先设置的关键字，如果命中则标记数据记录；

数据再提取模块，用于对于命中的数据记录，如果需要提取更加详细的内容时，按需读取存储组件中的内容，并加载到内存中的数据记录。

优选地，所述所需处理的数据为批量数据记录或大规模非结构化文档，为Office文件、PDF文件、视频文件以及音频文件的任意一种。

优选地，所述数据记录为包括原始文件存储路径、文件格式以及文件大小的元数据。

本发明还提供了一种流式数据处理设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，以实现所述的流式数据处理方法。

本发明还提供了一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现所述的流式数据处理方法。