[发明专利]一种数据处理方法、系统、计算机设备及可读存储介质

说明书

本发明公开了一种数据处理方法、系统、计算机设备及可读存储介质，涉及数据处理技术领域，包括如下步骤：进行数据处理任务的任务配置；根据任务配置加载数据处理任务，并初始化数据入口、数据管道以及数据出口，完成对拦截器链的初始化；启动调度器，将数据组装成event提交线程池处理；加载拦截器链，将event代入拦截器链进行聚合加工；聚合加工后的数据流向数据出口对外输出。本发明所提供的方法解决可视化动态界面和流程配置，使得使用方能够快速接入系统，便捷地实现从业务方事件中的数据转化成自身业务需要的数据，并输出到指定应用，同时能够通过控制台对某些数据处理流程进行重载和关闭，使配置变更可以动态实时生效。

【技术领域】

本发明涉及数据处理技术领域，具体涉及一种数据处理方法、系统、计算机设备及可读存储介质。

【背景技术】

对于大型互联网公司，系统中涉及到的领域众多，电商场景下商户对于订单、商品、用户的搜索需求日益复杂，无论是根据用户的行为进行搜索还是根据用户的资产进行筛选，都会涉及到对用户属性、行为、资产等相关数据的同步。现有的处理方式大多是将收集的数据按照所要求的格式SOAP封装成XML格式的数据包并上传至服务器，收集客户端定时调用下载进程下载XML格式的数据包，下载完成后将新下载的数据包按照不同应用的需求进行分类队列管理，然后调用转档组件将相应队列中的数据包还原到对应的应用中。

但这类方式仍有不足：一方面，随着业务的发展，需要处理同步的数据越来越多，直接针对每个字段进行处理需要大量的开发工作量，无法通过界面和配置快速支持现有场景，同时当下游性能出现瓶颈，有调整处理速度的诉求时，也无法通过快速修改配置参数，实时的动态生效；另一方面，当不同的业务方数据处理方式接近时，因为业务领域不同，业务方需要不断重复写类似代码进行处理，且当同一个数据来源需要处理后将相同数据交给不同的业务方时也需要重复建设。

【发明内容】

为解决前述问题，本发明提供了一种数据处理方法，解决可视化动态界面和流程配置，使得使用方能够快速接入系统，便捷地实现从业务方事件中的数据转化成自身业务需要的数据，并输出到指定应用，同时能够通过控制台对某些数据处理流程进行重载和关闭，使配置变更可以动态实时生效。

为了达到上述目的，本发明采用如下技术方案：

一种数据处理方法，包括如下步骤：

进行数据处理任务的任务配置；

根据任务配置加载数据处理任务，所述数据处理任务根据所述任务配置加载并初始化数据入口、数据管道以及数据出口，所述数据入口用以对外部数据进行监听，将监听到的数据写入内部队列；所述数据管道内具有拦截器链，所述数据管道根据任务配置构建数据处理核心逻辑，完成对拦截器链的初始化；所述数据出口用以根据任务配置构建数据出口核心逻辑，并与任务配置中的数据接收方进行建联；

启动调度器，将数据入口写入内部队列的数据组装成event提交线程池处理；

加载拦截器链，将event代入拦截器链，由拦截器链中的每个拦截器对组装成event的数据进行聚合加工；

聚合加工后的数据流向数据出口，由数据出口根据任务配置对外输出。

可选的，数据处理任务的任务配置在后台管理系统中进行，数据处理任务的任务配置包括处理速度、最大重试次数、告警通知、调度周期以及数据处理核心逻辑的元数据。

可选的，写入内部队列的数据组装成event后形成event队列，调度器根据调度周期定时调度，每次从event队列中获取一个event，将event与初始化数据入口、数据管道和数据出口组成执行器，所述执行器实现多线程，并提交至线程池处理。

可选的，所述数据处理核心逻辑为：将event交至数据管道，当event在拦截器链中进行流转时，拦截器链中的每个拦截器均对组装成event的数据进行聚合加工处理。