[发明专利]一种流处理方式支持动态读取hive表数据的方法及装置

权利要求书

1.一种流处理方式支持动态读取hive表数据的方法，其特征在于，包括：

在流处理引擎开始读取hive表之前，设置patitionMap，用于装载整个读取流程中已经读取过的分区名和相应分区中已经读取过的最大的文件修改时间；设置partitionValueList，用于装载当前轮待读取的分区名、相应分区中待读取文件的文件修改时间和相应待读取文件的路径；设置第一轮读取中的时间戳为预设初始值；

在流处理引擎读取hive表的过程中，若patitionMap中能够找到partitionValueList中待读取的分区名，则判定相应待读取的分区为老分区；若老分区中待读取文件的文件修改时间大于patitionMap中相应分区中已经读取过的最大的文件修改时间，且老分区中待读取文件的文件修改时间大于当前轮时间戳，则判定老分区中待读取文件为老分区新文件，按partitionValueList中相应待读取文件的路径进行老分区新文件的读取；

待当前轮的待读取文件读取完毕后，清空partitionValueList，更新patitionMap中的相应分区中已经读取过的最大的文件修改时间，将时间戳更新为与当前轮所有已经读取过的文件中文件修改时间最大的文件相对应的文件修改时间。

2.根据权利要求1所述的流处理方式支持动态读取hive表数据的方法，其特征在于，在流处理引擎读取hive表的过程中，若patitionMap中找不到partitionValueList中待读取的分区名，则判定相应待读取的分区为新分区，相应分区中待读取文件为新分区文件，相应待读取文件的路径设置为空字符串，依据新分区名在hadoop中进行新分区文件的读取。

3.根据权利要求1所述的流处理方式支持动态读取hive表数据的方法，其特征在于，在流处理引擎读取hive表的过程中，由hadoop从hive表中拿取全部的分区名，与patitionMap中的分区名进行对比，找到遗漏分区名，将遗漏分区名和相应分区中的最大的文件修改时间写入lackPartition；

若lackPartition不为空，则流处理引擎优先根据lackPartition进行遗漏分区的文件的读取，完成相应分区的文件的读取后，从lackPartition中删除相应的分区名，直到lackPartition为空。

4.根据权利要求3所述的流处理方式支持动态读取hive表数据的方法，其特征在于，流处理引擎依据lackPartition中的遗漏分区名进行遗漏分区的文件的读取。

5.根据权利要求3所述的流处理方式支持动态读取hive表数据的方法，其特征在于，当lackPartition为空时，流处理引擎直接依据partitionValueList中的相应待读取文件的路径进行待读取文件的读取。

6.根据权利要求1所述的流处理方式支持动态读取hive表数据的方法，其特征在于，流处理引擎依据partitionValueList中的相应待读取文件的路径进行待读取文件的读取之前，先根据partitionValueList中的相应分区中待读取文件的文件修改时间进行升序排序，按照排好的顺序，用partitionValueList中的相应待读取文件的路径进行待读取文件的读取。

7.根据权利要求1所述的流处理方式支持动态读取hive表数据的方法，其特征在于，更新后的patitionMap用于下一轮读取中的待读取的分区为新分区或老分区的判断。

8.根据权利要求1所述的流处理方式支持动态读取hive表数据的方法，其特征在于，更新后的时间戳用于下一轮读取中的待读取文件是否为老分区新文件的判断。