[发明专利]Hudi运行环境资源优化分配方法及装置

权利要求书

1.一种Hudi运行环境资源优化分配方法，其特征在于，包括：

在进行医疗数据存储前，启动预设数量的计算引擎会话Spark Session，并对各SparkSession按对应的资源大小进行分类，得到至少两个Spark Session集合，并确定每个SparkSession集合对应的任务数据量范围；

在医院的业务系统有增量医疗数据产生时，将所述增量医疗数据写入卡夫卡kafka的第一topic，通过流式计算引擎flink消费所述第一topic得到所述增量医疗数据，并将所述增量医疗数据存储至分布式文件存储系统hdfs，并将所述增量医疗数据的数据表标识和在所述hdfs中的存储路径写入所述kafka的第二topic；

通过flink消费所述第二topic，获取所述增量医疗数据对应的Hudi表任务所对应的数据量大小，并获取所述Hudi表任务的优先级得分，基于所述优先级得分将所述Hudi表任务加入任务执行队列，所述Hudi表任务用于指示存储所述增量医疗数据至对应的Hudi表；

在所述Hudi表任务处于所述任务执行队列的头部时，基于所述Hudi表任务的数据量大小和各Spark Session集合对应的任务数据量范围，确定出目标Spark Session，并利用所述目标Spark Session执行所述Hudi表任务，以将所述增量医疗数据添加至对应的Hudi表中。

2.根据权利要求1所述的方法，其特征在于，通过flink消费所述第二topic，获取所述增量医疗数据对应的Hudi表任务所对应的数据量大小，包括：

通过flink消费所述第二topic得到所述增量医疗数据的数据表标识和存储路径，基于所述存储路径获取所述增量医疗数据，并基于所述数据表标识确定所述增量医疗数据对应的目标Hudi表；

将所述增量医疗数据的数据量大小和所述目标Hudi表中包含的数据量大小之和，作为所述Hudi表任务对应的数据量大小。

3.根据权利要求1所述的方法，其特征在于，基于所述优先级得分将所述Hudi表任务加入任务执行队列，包括：

若所述任务执行队列中不包含所述增量医疗数据的数据表标识对应的其他Hudi表任务，则获取所述Hudi表任务的优先级得分，并基于所述Hudi表任务的优先级得分与所述任务执行队列中各Hudi表任务的优先级得分的大小关系，将所述Hudi表任务添加至所述任务执行队列；

若所述任务执行队列 中包含所述增量医疗数据的数据表标识对应的其他Hudi表任务，则将所述Hudi表任务与所述其他Hudi表任务合并，并获取合并后的Hudi表的优先级得分，再基于所述合并后的Hudi表任务的优先级得分与所述任务执行队列中各Hudi表任务的优先级得分的大小关系，将所述合并后的Hudi表任务添加至所述任务执行队列。

4.根据权利要求1所述的方法，其特征在于，获取所述Hudi表任务的优先级得分：

获取所述Hudi表任务的延迟时间，并获取该Hudi表任务对应的增量医疗数据的数据表标识和数据量大小；

基于所述延迟时间获取第一优先级得分，基于所述数据表标识确定所述增量医疗数据对应的数据表类型，并基于所述数据表类型获取第二优先级得分，基于所述数据量大小获取第三优先级得分；

基于所述第一优先级得分、所述第二优先级得分以及所述第三优先级得分，获取该Hudi表任务的优先级得分。

5.根据权利要求1所述的方法，其特征在于，所述基于所述Hudi表任务的数据量大小和各Spark Session集合对应的任务数据量范围，确定出目标Spark Session，包括：

将所述Hudi表任务的数据量大小满足的任务数据量范围对应的Spark Session集合确定为目标Spark Session集合；

将所述目标Spark Session集合中任一空闲Spark Session，确定为目标SparkSession。