[发明专利]基于Flink的任务执行方法、装置、计算机设备及存储介质

权利要求书

1.一种基于Flink的任务执行方法，其特征在于，包括下述步骤：

在父级目录中建立多个子目录文件夹，并接收携带有版本号的Flink数据包，基于所述版本号将所述Flink数据包存储至对应的子目录文件夹中，其中，所述子目录文件夹的名称与所述版本号相同；

接收用户任务数据，基于所述用户任务数据确定目标Flink版本号；

基于所述目标Flink版本号，对所述父级目录中的子目录文件夹进行查找，获得目标子目录文件夹，将所述目标子目录文件夹中的Flink数据包作为目标Flink数据包，并通过类加载器加载所述目标子目录文件夹中的目标Flink数据包至内存；

获取所述用户任务数据中的任务分配方式和待处理数据，根据所述任务分配方式确定向各服务器分配的待处理数据的数据量是否均匀，在数据量不均匀时，调用预设的多个随机数列，基于所述随机数列重新分配所述待处理数据至各服务器，以完成对待处理数据的分配；

运行所述内存中的目标Flink数据包，以调用各服务器处理所述待处理数据。

2.根据权利要求1所述的基于Flink的任务执行方法，其特征在于，所述接收用户任务数据，基于所述用户任务数据确定目标Flink版本号的步骤包括：

接收用户任务数据，其中，所述用户任务数据携带有用户名称，根据用户名称在数据库中查找是否存在用户历史日志；

在所述数据库中存在所述用户历史日志时，获取并分析所述用户历史日志，获得初始Flink版本号，并将所述初始Flink版本号发送至用户客户端；

当接收到用户客户端发送的确认信号时，将所述初始Flink版本号作为目标Flink版本号；

当接收到用户客户端发送的修改信号时，获取所述修改信号携带的Flink版本号，将所述修改信号携带的Flink版本号作为目标Flink版本号。

3.根据权利要求2所述的基于Flink的任务执行方法，其特征在于，所述分析所述用户历史日志，获得初始Flink版本号的步骤包括：

获取每个所述用户历史日志中用户调用的Flink版本号，作为历史Flink版本号；

确定获得的每个所述历史Flink版本号的数量，并将所述历史Flink版本号根据数量进行降序排序，获得所述历史版本号序列表；

将排在第一位的历史Flink版本号作为所述初始Flink版本号，并将所述历史版本号序列表展示在前端页面中，以提供给用户查看。

4.根据权利要求2所述的基于Flink的任务执行方法，其特征在于，在所述根据用户名称在数据库中查找是否存在用户历史日志的步骤之后，还包括：

在所述数据库中不存在所述用户历史日志时，获取用户任务数据中的任务函数，并调取关联查找表，其中，所述关联查找表中包括函数标签与Flink版本号，所述函数标签与所述Flink版本号具有关联关系；

基于所述关联查找表，分别计算与各Flink版本号相关联的函数标签，与所述任务函数的重叠率，获得函数重叠率；

将函数重叠率最高的Flink版本号作为目标版本号。

5.根据权利要求1所述的基于Flink的任务执行方法，其特征在于，在所述基于所述目标Flink版本号，在所述父级目录中查找到目标子目录文件夹的步骤之前，还包括：

查找内存中是否存在Flink代码，在内存中存在所述Flink代码时，卸载内存中加载的所述Flink代码。

6.根据权利要求1所述的基于Flink的任务执行方法，其特征在于，在数据量不均匀时，调用预设的多个随机数列，基于所述随机数列重新分配所述待处理数据至各服务器的步骤包括：

在数据量分配不均匀时，调取预设的多个随机数列，并获取每条待处理数据携带的用户序列号，将所述用户序列号与任一所述随机数列进行拼接操作，获得目标序列；

将所述目标序列与服务器的总数量进行取余操作，获得目标服务器号，将所述用户的待处理数据基于对应的目标服务器号，分配给所述目标服务器号所关联的服务器，以完成数据分配。