[发明专利]一种多流流式数据的处理方法和系统

说明书

本发明公开了一种多流流式数据的处理方法和系统。该处理方法包括：对所获取的多流流式数据进行窗口化处理并基于窗口计算公式进行窗口计算；基于设定的数据处理目的，对所得到的窗口计算结果进行语义结构重组，以得到语义结构重组数据流；基于重组流计算公式，对所述语义结构重组数据流进行重组流计算，得到数据处理结果。利用该处理方法，不仅解决大数据处理中耗时长，异常处理成本高的问题，还解决了不能对多数据流进行处理计算的问题，进而更加完善了对海量数据流进行处理计算的实现过程，从而满足了用户基于数据处理结果实时探索深层次信息或原因的诉求。

技术领域

本发明实施例涉及大数据处理技术，尤其涉及一种多流流式数据的处理方法和系统。

背景技术

随着时代的进步和经济的发展，人们日常生活中对信息的需求量越来越大，尤其是随着互联网的日益普及，每天都有海量的信息在互联网上发布和传播，对于数据计算和分析的技术人员来说，传统的数据计算分析系统已不能承受对海量数据的计算分析，由此出现了对大规模数据的处理系统。

目前，常见的大数据处理技术有两种：一种是将已获取的整体数据集作为输入，然后通过批量分析计算模型进行处理计算，最终输出所需的结果集；另一种是以数据流的形式输入，然后对流形式的数据进行实时的分析计算，并实时获取计算结果。上述两种数据处理技术，尽管可以处理海量数据，但存在一定的不足：针对第一种数据处理技术，存在耗时较长，异常处理成本高等问题，且也不能满足实时性分析计算大数据的要求。针对后一种数据处理方法，尽管能够满足实时性分析，但仅擅长处理单条数据流的计算处理(如对数据流的统计求和计算)，却不能很好地支持多条数据流的分析计算(如，多条数据流之间进行计算，或单条数据流进行环比计算等)。

综上所述，现有技术中实时处理多条海量数据流的问题依旧不能解决，无法满足实际需求。

发明内容

本发明提供了一种多流流式数据的处理方法和系统，以实现对海量的多流流式数据的实时处理。

本发明实施例采用以下技术方案：

第一方面，本发明实施例提供了一种多流流式数据的处理方法，该方法包括：

对所获取的多流流式数据进行窗口化处理并基于窗口计算公式进行窗口计算；

基于设定的数据处理目的，对所得到的窗口计算结果进行语义结构重组，以得到语义结构重组数据流；

基于重组流计算公式，对所述语义结构重组数据流进行重组流计算，得到数据处理结果。

第二方面，本发明实施例还提供了一种多流流式数据的处理系统，该系统包括：

窗口化处理模块，用于对所获取的多流流式数据进行窗口化处理；

窗口计算模块，用于基于窗口计算公式对经过窗口化处理后的多流流式数据进行窗口计算；

数据流重组模块，用于基于设定的数据处理目的，对所得到的窗口计算结果进行语义结构重组，以得到语义结构重组数据流；

重组流计算模块，用于基于重组流计算公式，对所述语义结构重组数据流进行重组流计算，得到数据处理结果。

本发明提供了一种多流流式数据的处理方法和系统，该处理方法，首先在获取到数据流后，对数据流中的数据进行窗口化处理，并基于窗口计算公式进行窗口计算；然后对所得的窗口计算结果基于数据处理目的进行语义结构重组形成语义结构重组流；之后对语义结构重组流基于重组流计算公式进行计算得到数据处理结果。利用该处理方法，有效的实现了实时处理涉及海量实体数据的多流流式计算，由此不仅解决大数据处理中耗时长，异常处理成本高的问题，还解决了不能对多数据流进行处理计算的问题，进而更加完善了对海量数据流进行处理计算的实现过程，从而满足了用户基于数据处理结果实时探索深层次信息或原因的诉求。

附图说明