[发明专利]一种时序数据整合方法、装置、设备及介质

说明书

本发明公开了一种时序数据整合方法，包括：监听CEP规则库，并在监测到当前CEP规则发生更新时，拦截当前的非确定性状态机NFA对象的访问请求；生成新的非确定性状态机NFA对象，并利用所述新的非确定性状态机NFA对象替换当前的非确定性状态机NFA；对更新后的CEP规则库进行解析，得到对CEP规则库的信号集合；从监测的一个或多个数据流中筛选出与信号集合对应的数据；从与信号集合对应的数据中筛选出规则描述事件；从时序库中查找与描述信息关联的上下文信息；将描述信息与上下文信息进行整合。本发明可以做到在不重启实时Flink(实时计算)程序情况下，动态加载新的匹配规则，从而在对数据进行处理时，具有低延迟、高吞吐、高效率的实时响应处理能力。

技术领域

本发明属于数据处理技术领域，具体涉及一种时序数据整合方法、装置、设备及介质。

背景技术

复杂事件处理(Complex Event Processing,CEP)是事件处理，它结合来自多个来源的数据来推断表明更复杂情况的事件或模式。复杂事件处理的目标是识别有意义的事件(例如机会、威胁)并快速相应它们。从物联网终端设备采集的数据通常具备一定的时序性，同时又容易出现乱序和延迟情况。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种时序数据整合方法、装置、设备及介质，以解决上述技术问题。

本发明提供的一种时序数据整合方法，所述方法包括：

监听CEP规则库，并在监测到当前CEP规则发生更新时，拦截当前的非确定性状态机NFA对象的访问请求，所述CEP规则库中包括多条CEP规则；

根据更新后的CEP规则，生成新的非确定性状态机NFA对象，并利用所述新的非确定性状态机NFA对象替换当前的非确定性状态机NFA；

对更新后的CEP规则库进行解析，得到对所述CEP规则库的信号集合，其中，每一条CEP规则对应一个信号；

从监测的一个或多个数据流中筛选出与所述信号集合对应的数据；

利用规则匹配条件，从所述与所述信号集合对应的数据中筛选出规则描述事件；

根据所述规则描述事件的描述信息，从时序库中查找与所述描述信息关联的上下文信息；

将所述描述信息与所述上下文信息进行整合，并写入下游应用。

于本发明一实施例中，所述CEP规则包括事件判定基本规则和事件的信息要素中需要整合的数据项。

于本发明一实施例中，所述监听CEP规则库，包括：

由程序主动通知；

或监听CEP规则库的日志，通过Dbus工具从日志中捕获变更数据，从而实现对CEP规则的监听。

于本发明一实施例中，在拦截当前的非确定性状态机NFA对象的访问请求前，所述方法还包括：

保存当前数据流的状态，并生成新的保存点savepoint。

于本发明一实施例中，在利用所述新的非确定性状态机NFA对象替换当前的非确定性状态机NFA前，所述方法还包括：

清空当前非确定性状态机NFA对象相关的中间状态存储数据，并初始化新的非确定性状态机NFA。

于本发明一实施例中，所述描述信息包括规则描述事件发生的主体以及时间，所述上下文信息包括与所述主体相关联的信息，所述下游应用包括Kafka消息中间件、数据库、存储介质中的至少一种。

本发明提供的一种时序数据整合装置，所述装置包括：