[发明专利]一种数据乱序到达处理方法和系统

权利要求书

1.一种数据乱序到达处理方法，其特征在于，它包括以下步骤：

S103：提取当前时间窗口字段，将时间窗口字段处理成日期类型数据；

S104：判断用户流数据是否存在指定时间窗口字段，

（1）如果用户流数据没有指定时间窗口字段，则使用当前时间作为时间分片字段；

（2）如果用户流数据有指定时间窗口字段，且指定的时间窗口字段不在合法窗口内，则丢弃该字段并记录日志，将日志作为时间分片字段；

（3）如果用户流数据有指定时间窗口字段，且指定的时间窗口字段在合法窗口内，则使用该字段作为该条用户流数据的时间分片字段；

S105：标记步骤S4中得到的时间分片字段所在的时间窗口字段，并从Redis存储库中提取在该时间窗口字段之前的数据集；

S106：判断标记的时间窗口字段的时间分片数据是否在步骤S5中提取的数据集中，

（1）如果所述的时间分片数据在数据集中，则将所述的时间分片数据与数据集合并，并将合并后的数据重新存储到Redis存储库中；

（2）如果所述的时间分片数据不在数据集中，则对所述的时间分片数据新建数据表单，并将新建数据表单添加到Redis存储库中；

S107：存储该条用户流数据到Redis存储库中，更新Redis存储库。

2.根据权利要求1所述的一种数据乱序到达处理方法，其特征在于：在步骤S103之前，还包括以下步骤：

S101：接收用户流数据；

S102：对接收到的用户流数据进行预处理，判断数据的有效性，并对有效数据转换数据类型。

3.根据权利要求1所述的一种数据乱序到达处理方法，其特征在于：所述的用户流数据包括传感器数据、业务系统数据和服务器日志。

4.一种数据乱序到达处理系统，其特征在于，它包括：

数据处理模块，用于将时间窗口字段处理成日期类型数据；

第一判断模块，用于判断用户流数据是否存在指定时间窗口字段；

（1）如果用户流数据没有指定时间窗口字段，则使用当前时间作为时间分片字段；

（2）如果用户流数据有指定时间窗口字段，且指定的时间窗口字段不在合法窗口内，则丢弃该字段并记录日志，将日志作为时间分片字段；

（3）如果用户流数据有指定时间窗口字段，且指定的时间窗口字段在合法窗口内，则使用该字段作为该条用户流数据的时间分片字段；

标记模块，用于标记时间分片字段所在的时间窗口字段；并从Redis存储库中提取在该时间窗口字段之前的数据集；

第二判断模块，用于判断标记的时间窗口字段的时间分片数据是否在提取的数据集中；

（1）如果所述的时间分片数据在数据集中，则将所述的时间分片数据与数据集合并，并将合并后的数据重新存储到Redis存储库中；

（2）如果所述的时间分片数据不在数据集中，则对所述的时间分片数据新建数据表单，并将新建数据表单添加到Redis存储库中；

Redis存储库模块，用于存储时间分片数据和用户流数据。

5.根据权利要求4所述的一种数据乱序到达处理系统，其特征在于：它还包括数据接收模块，用于接收用户流数据。

6.根据权利要求4所述的一种数据乱序到达处理系统，其特征在于：它还包括预处理模块，用于对接收到的用户流数据进行预处理，判断数据的有效性，并对有效数据转换数据类型。

7.根据权利要求4所述的一种数据乱序到达处理系统，其特征在于：它还包括配置模块，用于配置数据清洗流程。