[发明专利]基于hudi快照的医疗数据查询方法及装置

说明书

本申请实施例提供了一种基于hudi快照的医疗数据查询方法及装置，方法包括：获取针对hudi医疗数据存储系统的查询请求，查询请求中包含sql查询语句、查询模式和查询时刻，查询模式包括全量查询和增量查询；基于查询时刻确定目标hudi快照，并基于目标hudi快照获取全量文件列表和增量文件列表；对sql查询语句进行解析得到对应的数据筛选条件，若查询模式为全量查询，则基于数据筛选条件在全量文件列表中查询，得到对应的全量医疗数据，若查询模式为增量查询，则基于数据筛选条件在增量文件列表中查询，得到对应的增量医疗数据。该方案在hudi快照的基础上实现了任意时刻的全量查询和增量查询，为医院运营分析提供了数据基础。

技术领域

本申请涉及计算机技术领域，具体而言，本申请涉及一种基于hudi快照的医疗数据查询方法及装置。

背景技术

随着数据存储技术的发展，医院的医疗数据可以存储至hudi医疗数据存储系统，医疗数据在该存储系统中以hudi表的形式进行存储。在该存储系统中，每当有增量医疗数据产生时，都会生成一个新的hudi快照，该hudi快照对应包含有该增量医疗数据和之前的未发生变化的历史医疗数据。

医院的运营系统需要分析各个时段的医疗数据以获取变化趋势，进而根据获取到的变化趋势合理分配医疗资源。进一步地，获取各个时段的医疗数据则需要获取hudi医疗数据存储系统中各个时间点的增量数据或全量数据。目前很多数据存储系统通过原生的presto查询引擎进行数据查询，以获取想要的数据。但是，原生的presto查询引擎只支持当前时刻的全量数据查询，即只能查询到最新的全量数据，而无法进行增量查询以及历史时刻的全量查询，这就无法满足医院运行系统的查询需求，因此有必要提供一种新的医疗数据查询方案。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一，本申请实施例所提供的技术方案如下：

第一方面，本申请实施例提供了一种基于hudi快照的医疗数据查询方法，包括：

基于二次开发的presto查询引擎获取针对hudi医疗数据存储系统的查询请求，所述查询请求中包含sql查询语句、查询模式和查询时刻，所述查询时刻包括任意一个历史时刻，所述查询模式包括所述查询时刻的全量查询和增量查询；

基于所述presto查询引擎确定所述hudi医疗数据存储系统的hudi快照链中生成时刻与所述查询时刻最接近的目标hudi快照，并基于所述目标hudi快照从所述hudi医疗数据存储系统的快照文件库中获取所述查询时刻的全量文件列表和增量文件列表；

基于所述presto查询引擎对所述sql查询语句进行解析得到对应的数据筛选条件，若所述查询模式为所述查询时刻的全量查询，则基于所述数据筛选条件在所述查询时刻的全量文件列表中查询，得到对应的全量医疗数据，若所述查询模式为所述查询时刻的增量查询，则基于所述数据筛选条件在所述查询时刻的增量文件列表中查询，得到对应的增量医疗数据；

其中，所述基于所述目标hudi快照从所述hudi医疗数据存储系统的快照文件库中获取所述查询时刻的全量文件列表和增量文件列表包括：

获取所述目标hudi快照的快照元数据；

基于所述快照元数据，确定所述目标hudi快照中与所述任意一个历史时刻对应的至少一个被重写的快照文件；

从所述快照元数据中获取所述至少一个被重写的快照文件的文件标识和文件时间戳；

基于所述至少一个被重写的快照文件的文件标识和文件时间戳，从所述hudi医疗数据存储系统的快照文件库中获取对应的快照文件，得到所述增量文件列表；

将所述快照文件库中除所述至少一个被重写的快照文件外的快照文件确定为未被重写的快照文件；