[发明专利]一种数据乱序到达处理方法和系统

说明书

本发明公开了一种数据乱序到达处理方法和系统。方法包括以下步骤：提取当前时间窗口字段，将时间窗口字段处理成日期类型数据；判断用户流数据是否存在指定时间窗口字段，并做相应地处理；标记时间分片字段所在的时间窗口字段，并从Redis存储库中提取在该时间窗口字段之前的数据集；判断标记的时间窗口字段的时间分片数据是否在提取的数据集中，并做相应地处理；存储用户流数据到Redis存储库中，更新Redis存储库；系统包括数据处理模块、第一判断模块、标记模块、第二判断模块和Redis存储库模块。本发明解决了实时流数据的乱序到达的问题，尤其适用于解决数据源并非序列化的场景，提升了数据的有效性和时序性。

技术领域

本发明涉及大数据分析处理技术领域，具体是一种数据乱序到达处理方法和系统。

背景技术

目前大数据产业背景下，实时流技术是一种将批次化、有序、整齐的序列化数据，固定地往分析器中推送的数据处理技术。由于分析器对数据格式要求严格，这直接导致大多数情况下，数据格式单一，序列化要求严格。然而，在实时流数据源中，数据往往并非都是来自高度序列化的场景，因数据乱序到达导致数据清洗结果与原数据结果经常呈现不一致，数据时序性差，数据质量低。

发明内容

本发明的目的在于克服现有技术的不足，提供一种数据乱序到达处理方法和系统，本发明通过对实时流数据时间分片分批分配的原理，使Spark处理节点上在存储Redis过程中进行逻辑分配，从而解决了实时流数据的乱序到达问题，提升了数据的有效性和时序性。

本发明的目的是通过以下技术方案来实现的：一种数据乱序到达处理方法，它包括以下步骤：

S103：提取当前时间窗口字段，将时间窗口字段处理成日期类型数据；

S104：判断用户流数据是否存在指定时间窗口字段，

（1）如果用户流数据没有指定时间窗口字段，则使用当前时间作为时间分片字段；

（2）如果用户流数据有指定时间窗口字段，且指定的时间窗口字段不在合法窗口内，则丢弃该字段并记录日志，将日志作为时间分片字段；

（3）如果用户流数据有指定时间窗口字段，且指定的时间窗口字段在合法窗口内，则使用该字段作为该条用户数据的时间分片字段；

S105：标记步骤S4中得到的时间分片字段所在的时间窗口字段，并从Redis存储库中提取在该时间窗口字段之前的数据集；

S106：判断标记的时间窗口字段的时间分片数据是否在步骤S5中提取的数据集中，

（1）如果所述的时间分片数据在数据集中，则将所述的时间分片数据与数据集合并，并将合并后的数据重新存储到Redis存储库中；

（2）如果所述的时间分片数据不在数据集中，则对所述的时间分片数据新建数据表单，并将新建数据表单添加到Redis存储库中；

S107：存储该条用户流数据到Redis存储库中，更新Redis存储库。

进一步，在步骤S103之前，还包括以下步骤：

S101：接收用户流数据；

S102：对接收到的用户流数据进行预处理，判断数据的有效性，并对有效数据转换数据类型。

所述的用户流数据包括传感器数据、业务系统数据和服务器日志。

一种数据乱序到达处理系统，它包括：

数据处理模块，用于将时间窗口字段处理成日期类型数据；

第一判断模块，用于判断用户流数据是否存在指定时间窗口字段；

标记模块，用于标记时间分片字段所在的时间窗口字段；