[发明专利]一种流数据处理方法和装置

说明书

本发明公开了一种流数据处理方法和装置，该方法包括：接收第一元数据建立指令，响应第一元数据建立指令，根据预设元数据建立模型生成第一元数据；根据第一元数据，载入第一元数据对应的第一流数据；接收对第一流数据的数据处理指令，确定数据处理指令对应的数据处理操作，并根据第一元数据实现对第一流数据的数据处理操作。

技术领域

本发明涉及数据处理领域，尤其涉及一种流数据处理方法和装置。

背景技术

流数据是一组顺序、大量、快速、连续到达的数据序列，越来越多的领域都涉及到流数据，比如，网络监控、传感器网络、航空航天、气象测控或金融服务等领域，因此针对流数据执行的操作也越来越频繁，进而对流数据的处理也越来越受到重视。

但是现有数据库中并没有一种针对流数据进行统一管理及处理的方法，从而导致流数据使用不方便。

发明内容

有鉴于此，本发明实施例期望提供一种流数据处理方法和装置，能缩提高流数据的处理效率。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例信息、并定义所述流数据对应的业务逻辑操作；

根据所述数据结构、所述源地址信息和所述业务逻辑操作，生成所述第一元数据。

在上述方法中，所述根据所述第一元数据，载入所述第一元数据对应的第一流数据，包括：

载入所述源地址信息对应的源地址发送的所述第一流数据。

在上述方法中，所述数据处理指令包括订阅分发指令，所述接收对所述第一流数据的数据处理指令，确定所述数据处理指令对应的数据处理操作，并根据所述第一元数据实现对所述第一流数据的所述数据处理操作，包括：

接收订阅分发模块发送的所述订阅分发指令，所述订阅分发指令中携带所述订阅分发模块对应的至少一个待发送地址信息和预设发送时间；

根据所述第一元数据确定当前系统时间；

当所述当前系统时间到达所述预设发送时间时，将所述第一流数据发送至所述至少一个待发送地址信息，并将所述至少一个待发送地址信息进行存储。

在上述方法中，所述数据处理指令包括业务逻辑指令，所述接收对所述第一流数据的数据处理指令，确定所述数据处理指令对应的数据处理操作，并根据所述第一元数据实现对所述第一流数据的所述数据处理操作，包括：

接收对所述第一流数据的业务逻辑指令，所述业务逻辑指令中携带触发条件及所述业务逻辑操作；

当所述第一元数据满足所述触发条件时，实现对所述第一流数据的所述业务逻辑操作。

在上述方法中，所述业务逻辑操作包括过滤操作、关联操作和聚合操作。

在上述方法中，所述数据处理指令包括删除指令，所述接收对所述第一流数据的数据处理指令，确定所述数据处理指令对应的数据处理操作，并根据所述第一元数据实现对所述第一流数据的所述数据处理操作，包括：

接收对所述第一流数据的删除指令，所述删除指令中携带预定存储时长和删除策略，所述删除策略包括删除所述第一流数据，或删除所述预定存储时长前的所述第一流数据对应的存储数据中的任意一种；

提供一种流数据处理方法，所述方法包括：

接收第一元数据建立指令，响应所述第一元数据建立指令，根据预设元数据建立模型生成第一元数据；

根据所述第一元数据，载入所述第一元数据对应的第一流数据；

接收对所述第一流数据的数据处理指令，确定所述数据处理指令对应的数据处理操作，并根据所述第一元数据实现对所述第一流数据的所述数据处理操作。