[发明专利]流计算服务系统及其控制方法和装置

说明书

本申请提供一种流计算服务系统及其控制方法和装置，控制方法包括，流计算服务系统启动后，实时监听配置中心的元数据是否被更新；若配置中心的元数据被更新，用配置中心的更新后的元数据替换流计算服务系统的每一个执行端当前的元数据，使执行端基于更新后的元数据处理输入数据流；元数据包括对输入数据流的处理方式和输入数据流中有效数据的数据标签。本方案通过实时监听配置中心的元数据的更新情况并在发生更新后，用更新后的元数据替换执行端当前的元数据，使得用户在系统运行过程中更新的元数据可以在不重启流计算服务系统的前提下生效，有效的提高了流计算服务系统的数据处理效率。

技术领域

本发明涉及流计算技术领域，特别涉及一种流计算服务系统及其控制方法和装置。

背景技术

流计算服务，是目前常用的一种数据处理系统的架构，采用流计算服务结构的数据处理系统可以称为流计算服务系统。流计算服务系统启动后，系统的控制端会将配置中心的用户预先配置的元数据下发至执行端，元数据包括指定的处理方式和有效数据(即需要处理的数据)的数据标签，执行端获得元数据后，就可以基于元数据的控制处理流计算服务系统的输入数据流，从而获得当前数据处理任务的处理结果，即流计算服务系统的输出数据流。

现有的这种控制方法中，若用户在系统运行过程中更新了配置中心的元数据，则必须重启流计算服务系统才能使更新后的元数据生效，导致流计算服务系统的数据处理效率在发生元数据的更新时明显降低。

发明内容

基于上述现有技术的问题，本申请提供一种流计算服务系统及其控制方法和装置，以解决现有的流计算服务系统在发生元数据更新时数据处理效率较低的问题。

本发明提供一种流计算服务系统的控制方法，应用于流计算服务系统的控制端，所述控制方法包括：

流计算服务系统启动后，实时监听配置中心的元数据是否被更新；

若监听到所述配置中心的元数据被更新，用所述配置中心的更新后的元数据替换所述流计算服务系统的每一个执行端当前的元数据，使所述执行端基于所述更新后的元数据处理所述流计算服务系统的输入数据流；其中，所述元数据包括对所述输入数据流的处理方式和所述输入数据流中有效数据的数据标签。

可选的，还包括：

若所述流计算服务系统的缓存中存储有未知数据标签，所述控制端将所述未知数据标签发送至业务终端，以触发所述业务终端更新所述配置中心的元数据；其中，所述配置中心的更新后的元数据包括，所述未知数据标签是否为无效数据标签。

可选的，所述元数据包括多项参数；

其中，所述用所述配置中心的更新后的元数据替换所述流计算服务系统的每一个执行端当前的元数据，包括：

检测出所述更新后的元数据包含的更新后的参数；

针对每一个所述执行端，用每一项所述更新后的参数替换所述执行端当前的元数据中对应的参数。

可选的，所述实时监听配置中心的元数据是否被更新，包括：

启动对所述配置中心的监听线程，通过所述监听线程实时监听所述配置中心对所述元数据的写入事件是否被处罚；

其中，若监听到所述配置中心对所述元数据的写入事件被触发，则确定所述配置中心的元数据被更新。

可选的，所述执行端基于所述更新后的元数据处理所述流计算服务系统的输入数据流的过程，包括：

检测所述输入数据流的每一项数据的数据标签是否为未知数据标签；其中，所述未知数据标签指代不属于所述更新后的元数据的数据标签；