[发明专利]海量数据处理方法、装置、设备及介质

权利要求书

1.一种海量数据处理方法，其特征在于，包括：

客户端依据可视化任务配置界面，确定至少一个数据处理任务；

客户端向服务端提交所述数据处理任务，使得所述服务端根据所述数据处理任务加载元数据配置，并根据元数据配置启动独立的数据处理链路处理各个数据处理任务，以及，采用链路调度器对各个独立的数据处理链路进行协调管控，以保证对不同数据处理任务对应的数据处理链路分别进行限速流控；以及，接收所述服务端返回的针对数据处理任务的处理结果。

2.根据权利要求1所述的海量数据处理方法，其特征在于，还包括：

客户端向服务端提交数据处理任务修改请求，使得所述服务端接收到数据处理任务修改请求后，通过重置操作对原有数据处理链路进行销毁，并启动新的数据处理链路，以处理修改后的数据处理任务。

3.一种海量数据处理方法，其特征在于，包括：

服务端接收客户端依据可视化任务配置界面确定的至少一个数据处理任务；

根据所述数据处理任务加载元数据配置，并根据元数据配置启动独立的数据处理链路处理各个数据处理任务，以及，采用链路调度器对各个独立的数据处理链路进行协调管控，以保证对不同数据处理任务对应的数据处理链路分别进行限速流控；以及，

将数据处理任务的处理结果提供给客户端。

4.根据权利要求3所述的海量数据处理方法，其特征在于，所述根据所述数据处理任务加载元数据配置，包括：

确定数据处理任务的核心处理逻辑元数据结构、处理速度、最大重试次数、告警通知中的一项或多项元数据配置。

5.根据权利要求所3述的海量数据处理方法，其特征在于，数据处理链路对数据处理任务的处理过程包括：

根据所述元数据配置进行数据组件初始化，从而监听待处理数据并确定数据处理逻辑；

根据所述数据处理逻辑，对监听到的待处理数据进行数据聚合加工，并将聚合加工后的数据进行输出。

6.根据权利要求5所述的海量数据处理方法，其特征在于，所述根据所述元数据配置进行数据组件初始化，包括：

初始化数据入口组件、数据管道组件和数据出口组件，其中，通过数据入口组件监听到符合所述元数据配置的数据并加入到处理队列，通过数据管道组件构建数据处理逻辑并对处理队中的数据进行聚合加工处理，通过数据出口组件输出聚合加工后的数据。

7.根据权利要求6所述的海量数据处理方法，其特征在于，所述数据管道组件包括多个拦截器组成的拦截器链；

所述通过数据管道组件构建数据处理逻辑并对处理队中的数据进行聚合加工处理，包括：

加载所述拦截器链，当监听到数据处理事件时，将数据处理事件代入所述拦截器链，当数据处理事件在拦截器链的每个拦截器中流转时，通过每个拦截器对数据处理事件对应的数据进行聚合加工。

8.根据权利要求6或7所述的海量数据处理方法，其特征在于，所述链路调度器对各个独立的数据处理链路进行协调管控，包括：

所述链路调度器将从所述数据入口组件监听到的数据组装成数据处理事件对象，并通过各个数据处理链路的处理周期定时调取所述数据处理事件对象，其中，每次从所述数据入口组件获取到一个数据处理事件时，则将数据处理事件、数据入口组件、数据管道组件和数据出口组件一起构建为一个数据处理执行器，并将所述数据处理执行器加入到多线程池中，按照各个数据处理链路的处理周期对对应的数据处理执行器分别进行协调处理。

9.根据权利要求4-7任一项所述的海量数据处理方法，其特征在于，还包括：

服务端接收客户端提交的数据处理任务修改请求，使得所述服务端接收到数据处理任务修改请求后，通过重置操作对原有数据处理链路进行销毁，并启动新的数据处理链路，以处理修改后的数据处理任务。