[发明专利]数据处理方法、装置、存储介质及电子装置

说明书

本发明公开了一种数据处理方法、装置、存储介质及电子装置。该方法包括：获取目标数据包和目标数据包对应的配置参数，其中，目标数据包为待运行的数据包，配置参数用于确定运行目标数据包待使用的资源；基于配置参数对预设编排文件中的目标占位符进行替换，得到目标编排文件，其中，目标占位符所处位置的字段为待调整的字段；基于目标编排文件确定目标资源空间，其中，目标资源空间用于为目标数据包提供一独立的运行资源；基于目标资源空间运行目标数据包，得到运行结果。本发明解决了相关技术资源空间中的数据运行时效率较低的技术问题。

技术领域

本发明涉及大数据领域，具体而言，涉及一种数据处理方法、装置、存储介质及电子装置。

背景技术

计费大数据的工作流程可以简单地描述为，将各个游戏的登录、支付等相关日志通过用于转发和集中日志数据的轻量级传送程序，采集至高吞吐量的分布式发布订阅消息系统中进行存储，这类日志称为业务原始日志。目前，在将这类原始日志进行数据运行过程中，是将所有作业托付给一个系统管理员进行管理，且整个运行环境也是只基于资源管理器的一个应用进行运行，如若遇到了资源管理器主节点或系统管理员发生服务不可用的情况，那么就会导致整个集群的作业全部会受到影响，难以正常运行。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明至少部分实施例提供了一种数据处理方法、装置、存储介质及电子装置，以至少解决相关技术资源空间中的数据运行时效率较低的技术问题。

根据本发明其中一实施例，提供了一种数据处理方法，包括：获取目标数据包和目标数据包对应的配置参数，其中，目标数据包为待运行的数据包，配置参数用于确定运行目标数据包待使用的资源；基于配置参数对预设编排文件中的目标占位符进行替换，得到目标编排文件，其中，目标占位符所处位置的字段为待调整的字段；基于目标编排文件确定目标资源空间，其中，目标资源空间用于为目标数据包提供一独立的运行资源；基于目标资源空间运行目标数据包，得到运行结果。

可选地，获取目标数据包对应的配置参数，包括：调用第一接口对目标数据包进行分析，得到目标运算资源，其中，目标运算资源用于表示运算目标数据包所需要的资源；基于目标运算资源确定第一参数，其中，第一参数为计算目标资源空间中的目标运算资源所需要的第一组件的数量；获取第二参数，其中，第二参数为用于管理目标资源空间的第二组件的数量；基于第一参数和第二参数，确定配置参数。

可选地，该方法还包括：获取初始编排模板的目标关键字，其中，目标关键字为初始编排模板中的待调整字段；在目标关键字的预设位置添加目标下划线，得到目标占位符；基于目标占位符对初始编排模板进行调整，得到预设编排文件。

可选地，目标资源空间与预设资源空间共享日志目录，在利用目标资源空间运行目标数据包的过程中，方法还包括：基于预设资源空间和日志目录采集目标资源空间的日志文件；基于日志文件对目标资源空间的运行目标数据包的过程进行监测，得到监测结果，其中，监测结果用于表示目标资源空间运行目标数据包的过程中是否出现异常。

可选地，该方法还包括：响应于对预设资源空间的目标指令，停止基于日志文件对目标资源空间的处理过程进行监测，其中，目标指令在目标资源空间停止运行之后的预设时间段生成。

可选地，获取目标数据包和目标数据包对应的配置参数，包括：响应于对目标平台中第一界面中第一控件的触控指令，获取目标数据包，其中，第一界面用于从至少一个数据包中确定目标数据包；响应于对目标平台中第二界面的第二控件的触控指令，上传目标数据包对应的配置信息至目标平台，其中，第二界面用于对目标数据包对应的配置信息进行编辑。

可选地，利用目标资源空间对目标数据包进行处理，得到处理结果，包括：获取目标资源空间对应的第一版本信息；基于第一版本信息确定目标镜像，其中，目标镜像用于提供运行目标资源空间的环境；基于目标镜像和目标资源空间运行目标数据包，得到运行结果。