[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本申请提出一种数据处理方法、装置、电子设备及存储介质，数据处理方法包括：解析实时接收到的指标计算任务；依据所述计算参数设置指标计算组件，所述指标计算组件为可执行的程序代码；对所述指标计算组件进行编译获得可执行程序包；将所述可执行程序包封装为指标计算请求，并将所述指标计算请求存储为消息队列；运行所述消息队列中的可执行程序包，获得指标计算结果；将所述指标计算结果存储于数据下沉地址中以完成指标计算。该方法通过解析实时接收到的指标计算任务并编译可执行程序包，以实时获得指标计算结果，从而能够提升数据处理的效率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

在大数据分析领域，指标计算通常被用于分析用户行为、系统稳定性等问题，进而为企业提升业务品质提供数据支撑。

目前，指标计算存在如下缺陷，对指标计算的效率造成消极影响：由于指标计算所需的数据筛查较为繁琐，因此同时计算多个指标可能会降低系统性能；不同的指标计算任务可能涉及不同的数据源，而同时配置多个数据源较为繁琐，且不利于后期维护；针对每个指标计算任务编写新的业务代码会降低程序的可扩展性和可移植性。

发明内容

鉴于以上内容，有必要提供一种数据处理方法、装置、电子设备及存储介质，以解决如何提高指标计算及数据处理的效率这一技术问题。

本申请实施例提供一种数据处理方法，所述方法包括：

解析实时接收到的指标计算任务获得任务参数；

依据所述任务参数设置指标计算组件，所述指标计算组件为可执行的程序代码；

对所述指标计算组件进行编译获得可执行程序包；

将所述可执行程序包封装为指标计算请求，并将所述指标计算请求存储为消息队列；

运行所述消息队列中的可执行程序包，获得指标计算结果；

将所述指标计算结果存储于数据下沉地址中以完成指标计算。

在一些实施例中，所述解析实时接收到的指标计算任务获得任务参数，包括：

利用预设的分词工具对所述指标计算任务进行分词处理，获得多个任务词汇；

依据预先训练的语义分类模型判别每个所述任务词汇的类别，所述类别至少包括数据源、数据处理和下沉地址；

依据类别为数据源的所述任务词汇查询待处理数据的存储地址；

将类别为数据处理的所述任务词汇作为对源数据进行指标计算的规则；

将类别为下沉地址的所述任务词汇作为数据下沉地址，并将所述待处理数据的存储地址、指标计算的规则与所述数据下沉地址统一作为任务参数。

在一些实施例中，所述依据所述任务参数设置指标计算组件，包括：

依据所述待处理数据的存储地址设置源数据查询程序；

依据所述指标计算的规则设置至少一个指标计算任务；

依据所述数据下沉地址设置数据下沉程序；

将所述源数据查询程序、所述指标计算任务与所述数据下沉程序联合作为指标计算组件，并将所述指标计算组件存储至预设的备份数据库。

在一些实施例中，所述对所述指标计算组件进行编译获得可执行程序包，包括：

利用预设的编译工具对所述指标计算组件进行编译以生成可执行程序包；

记录所述可执行程序包编译完成的时间以作为所述可执行程序包的第一索引。