[发明专利]一种数据去重方法、装置及计算机可读存储介质

说明书

本申请公开了一种数据去重方法、装置及计算机可读存储介质，涉及大数据领域。通过按预设周期获取ZSet结构中的目标窗口；其中目标窗口为ZSet结构中的所有窗口按预设要求排列的第一个窗口；判断目标窗口是否符合预设条件，若否，读取目标窗口中Set结构中所有的关键字符串，以用于通过Set结构对消息进行去重；其中，关键字符串为通过消息队列生成的包含消息的多个关键字符串。由此可知，上述方案通过对消息队列中的消息生成关键字符串，利用窗口的Set结构不重复特性的去重机制对包含消息的关键字符串进行去重，实现了对数据的聚合去重，解决了数据量大时，数据处理业务资源紧张和数据重复处理造成的资源浪费，提高了资源利用率。

技术领域

本申请涉及大数据领域，特别是涉及一种数据去重方法、装置及计算机可读存储介质。

背景技术

流式数据是一组顺序、大量、快速、连续到达的数据序列，一般情况下，流式数据可被视为一个随时间延续而无限增长的动态数据集合，应用于网络监控、传感器网络、航空航天、气象测控和金融服务等领域。流式数据需要按记录或根据滑动时间窗口按顺序进行递增式处理，可用于多种分析，包括关联、聚合、筛选和取样。借助此类分析得出的信息，得以深入了解其内容，从而迅速对新情况做出响应。

现有的流式数据处理，对短时间内多条重复消息没有做聚合去重；当数据量大时容易导致下游消息处理业务崩溃，且对重复数据做重复处理会造成资源的浪费。

鉴于上述问题，设计一种数据去重方法，提高资源利用率，是该领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种数据去重方法、装置及计算机可读存储介质。

为解决上述技术问题，本申请提供一种数据去重方法，包括：

按预设周期获取ZSet结构中的目标窗口；其中，所述目标窗口为所述ZSet结构中的所有窗口按预设要求排列的第一个窗口；

判断所述目标窗口是否符合预设条件；

若否，读取所述目标窗口中Set结构中所有的关键字符串，以用于通过所述Set结构对消息进行去重；

其中，所述关键字符串为通过消息队列生成的包含所述消息的多个所述关键字符串。

优选地，在所述按预设周期获取ZSet结构中的目标窗口之前，还包括：

通过所述ZSet结构以时间顺序创建所述窗口；

其中，各所述窗口的项目名称为各所述窗口的创建时间。

优选地，所述判断所述目标窗口是否符合预设条件包括：

判断所述目标窗口的所述创建时间与持续时间的和是否不小于当前物理时间；

若否，则所述目标窗口不符合所述预设条件，进入到所述读取所述目标窗口中Set结构中所有的关键字符串的步骤。

优选地，所述消息队列生成所述关键字符串的具体步骤包括：

获取所述消息队列中的所述消息；

根据预设规则对所述消息进行过滤；

将过滤后的所述消息生成所述关键字符串，以用于发送所述关键字符串至所述创建时间与当前物理时间的差值最小的所述窗口中。

优选地，在所述读取所述目标窗口中Set结构中所有的关键字符串之前，还包括：

获取所述目标窗口的窗口锁。

优选地，在所述读取所述目标窗口中Set结构中所有的关键字符串之后，还包括：

将所述关键字符串还原为所述消息的原始数据；

发送所述原始数据至所述消息队列。