[发明专利]基于Flink的任务执行方法、装置、计算机设备及存储介质

说明书

本申请实施例属于计算机技术领域，应用于智慧社区领域中，涉及一种基于Flink的任务执行方法、装置、计算机设备及存储介质包括基于版本号将接收到的Flink数据包存储至预先建立的子目录文件夹中；基于接收到的用户任务数据确定目标Flink版本号；基于目标Flink版本号，基于目标Flink版本号确定出目标子目录文件夹，将目标子目录文件夹中的Flink数据包作为目标Flink数据包并加载至内存；获取用户任务数据中的任务分配方式和待处理数据，在向各服务器分配的待处理数据的数据量不均匀时，调用预设的数据分配方式重新向各服务器分配所述待处理数据；运行内存中的目标Flink数据包。Flink数据包可存储于区块链中。本申请能够支持不同版本Flink任务的调用，同时避免Flink版本调用混乱的情况。

技术领域

本申请涉及计算机技术领域，尤其涉及基于Flink的任务执行方法、装置、计算机设备及存储介质。

背景技术

随着计算机技术的高速发展，计算机在改变了人们的生活方式的同时，也已经逐渐应用于各行各业的线上数据处理中。而其中Flink作为实时计算的重要框架，很多公司研发了专门提交Flink任务的服务，但是这样的服务会受到Flink版本的限制，即对同一个服务来说，每次提交的任务的Flink版本需要一致。目前，随着Flink社区的不断更新，Flink出现很多不同的版本。由于每个版本之间有所差异，用户常常会选择不同的任务使用不同的Flink版本。如果设计成服务只能提交一个版本的Flink的话，那么无法满足客户对Flink版本频繁变化的需要；如果使用多个服务，每个服务支持一个Flink版本的话，那么开发运维成本太大；在使用一个服务提交多个Flink版本时，经常会出现调用版本混乱的情况，造成整个服务的扩展性差、稳定性差以及难以迭代，增大了开发和维护成本。同时，还存在执行Flink任务的服务器的数据处理速度慢，效率低的情况。

发明内容

本申请实施例的目的在于提出一种基于Flink的任务执行方法、装置、计算机设备及存储介质，支持不同版本Flink任务的调用，同时避免Flink版本调用混乱的情况。

为了解决上述技术问题，本申请实施例提供一种基于Flink的任务执行方法，采用了如下所述的技术方案：

一种基于Flink的任务执行方法，包括下述步骤：

在父级目录中建立多个子目录文件夹，并接收携带有版本号的Flink数据包，基于所述版本号将所述Flink数据包存储至对应的子目录文件夹中，其中，所述子目录文件夹的名称与所述版本号相同；

接收用户任务数据，基于所述用户任务数据确定目标Flink版本号；

基于所述目标Flink版本号，对所述父级目录中的子目录文件夹进行查找，获得目标子目录文件夹，将所述目标子目录文件夹中的Flink数据包作为目标Flink数据包，并通过类加载器加载所述目标子目录文件夹中的目标Flink数据包至内存；

获取所述用户任务数据中的任务分配方式和待处理数据，根据所述任务分配方式确定向各服务器分配的待处理数据的数据量是否均匀，在数据量不均匀时，调用预设的多个随机数列，基于所述随机数列重新分配所述待处理数据至各服务器；

运行所述内存中的目标Flink数据包，以调用各服务器处理所述待处理数据。

进一步的，所述接收用户任务数据，基于所述用户任务数据确定目标Flink版本号的步骤包括：

接收用户任务数据，其中，所述用户任务数据携带有用户名称，根据用户名称在数据库中查找是否存在用户历史日志；

在所述数据库中存在所述用户历史日志时，获取并分析所述用户历史日志，获得初始Flink版本号，并将所述初始Flink版本号发送至用户客户端；

当接收到用户客户端发送的确认信号时，将所述初始Flink版本号作为目标Flink版本号；