[发明专利]海量数据处理方法、装置、设备及介质

说明书

本申请提供了一种海量数据处理方法、装置、设备及介质，包括：客户端依据可视化任务配置界面，确定至少一个数据处理任务；客户端向服务端提交所述数据处理任务，使得所述服务端根据所述数据处理任务加载元数据配置，并根据元数据配置启动独立的数据处理链路处理各个数据处理任务，以及，采用链路调度器对各个独立的数据处理链路进行协调管控，以保证对不同数据处理任务对应的数据处理链路分别进行限速流控；以及，接收所述服务端返回的针对数据处理任务的处理结果。基于元数据配置，启动不同数据处理链路处理各个数据处理任务，使得各个任务之间互不干扰，并通过链路调度器对各任务进行统一管控，可有效提升海量数据场景下的数据处理效率。

技术领域

本申请涉及数据处理技术领域，尤其是涉及到一种海量数据处理方法、装置、设备及介质。

背景技术

对于大型互联网公司，由于系统中涉及到的领域众多，电商场景下商户对于订单、商品、用户的搜索需求日益复杂，无论是根据用户的行为进行搜索还是根据用户的资产进行筛选，都会涉及到对用户属性、行为、资产等相关数据的同步。现有的处理方式大多是将收集的数据按照所要求的格式SOAP封装成XML格式的数据包并上传至服务器，收集客户端定时调用下载进程下载XML格式的数据包，下载完成后将新下载的数据包按照不同应用的需求进行分类队列管理，然后调用转档组件将相应队列中的数据包还原到对应的应用中。

这类方式存在以下不足：一方面，随着业务的发展，需要处理同步的数据越来越多，直接针对每个字段进行处理需要大量的开发工作量，无法通过界面和配置快速支持现有场景，同时当下游性能出现瓶颈有调整处理速度的诉求时，也无法通过快速修改配置参数，实时的动态生效；另一方面，当不同的业务方数据处理方式接近时，因为业务领域不同，业务方需要不断重复写类似代码进行处理，且当同一个数据来源需要处理后将相同数据交给不同的业务方时也需要重复建设。

发明内容

有鉴于此，本申请提供了一种海量数据处理方法、装置、设备及介质，主要目的在于提高海量数据处理效率。

依据本申请的一个方面，提供了一种海量数据处理方法，包括：客户端依据可视化任务配置界面，确定至少一个数据处理任务；客户端向服务端提交所述数据处理任务，使得所述服务端根据所述数据处理任务加载元数据配置，并根据元数据配置启动独立的数据处理链路处理各个数据处理任务，以及，采用链路调度器对各个独立的数据处理链路进行协调管控，以保证对不同数据处理任务对应的数据处理链路分别进行限速流控；以及，接收所述服务端返回的针对数据处理任务的处理结果。

依据本申请的一个方面，提供了一种海量数据处理方法，包括：服务端接收客户端依据可视化任务配置界面确定的至少一个数据处理任务；根据所述数据处理任务加载元数据配置，并根据元数据配置启动独立的数据处理链路处理各个数据处理任务，以及，采用链路调度器对各个独立的数据处理链路进行协调管控，以保证对不同数据处理任务对应的数据处理链路分别进行限速流控；以及，将数据处理任务的处理结果提供给客户端。

依据本申请的一个方面，提供了一种海量数据处理客户端装置，包括：任务确定单元，依据可视化任务配置界面，确定至少一个数据处理任务；数据传输单元，用于向服务端提交所述数据处理任务，使得所述服务端根据所述数据处理任务确定元数据配置，并根据元数据配置启动独立的数据处理链路处理各个数据处理任务，以及，采用链路调度器对各个独立的数据处理链路进行协调管控，以保证对不同数据处理任务对应的数据处理链路分别进行限速流控；以及，接收所述服务端返回的针对数据处理任务的处理结果。

依据本申请的一个方面，提供了一种海量数据处理服务端装置，包括：客户端交互单元，用于接收客户端依据可视化任务配置界面确定的至少一个数据处理任务，以及，将针对数据处理任务的处理结果提供给客户端；数据处理单元，用于根据所述数据处理任务确定元数据配置，并分别启动独立的数据处理链路处理各个数据处理任务；数据调度单元，用于采用链路调度器对各个独立的数据处理链路进行协调管控，以保证对不同数据处理任务对应的数据处理链路分别进行限速流控。