[发明专利]Hive文件读写方法及装置

权利要求书

1.一种Hive文件读写方法，其特征在于，包括：

读取数据接入表，获取服务器信息和并行度信息；

根据所述的服务器信息，生成执行程序以连接Hive文件所在的服务器；

根据所述的服务器信息和并行度信息，确定所述Hive文件的读取线程数量、处理线程数量和分批大小；

接入所述的Hive文件数据，进行数据消费，

所述服务器信息至少包含一个服务器节点，所述服务器节点按集中式或分布式部署；所述Hive文件包含至少一个表；所述并行度信息由所述服务器节点的网络延时和/或各所述服务器节点路由状况确定。

2.根据权利要求1所述的方法，其特征在于，包括：在所述读取数据接入表后，如果所述服务器信息指向的服务器不可用和/或服务器信息存在错误，配置并保存所述数据接入表。

3.根据权利要求1所述的方法，其特征在于，包括：所述读取线程数量由所述Hive文件的读取路径确定；所述处理线程数量由所述服务器节点剩余线程上限和所述Hive文件单行数据预估大小确定；所述分批大小由所述Hive文件单行数据预估大小确定。

4.根据权利要求1所述的方法，其特征在于，包括：所述数据接入表还包括业务分组配置；读取所述数据接入表时，读取所述业务分组配置；在所述接入Hive文件数据前，还包括根据所述业务分组配置，组装读取的Hive文件数据。

5.根据权利要求1所述的方法，其特征在于，包括：所述数据接入表还包括优先级；读取所述数据接入表时，读取所述优先级；在所述数据消费前，还包括根据所述优先级，确定所述数据消费的顺序。

6.根据权利要求1所述的方法，其特征在于，所述的接入Hive文件数据，还包括：如果所述的接入Hive文件数据发生异常，记录异常信息或断点信息，继续或者中止所述的接入Hive文件数据。

7.根据权利要求1所述的方法，其特征在于，所述的数据消费，还包括：根据计算规模和/或网络延时，补充计算阻塞间隔。

8.根据权利要求1所述的方法，其特征在于，所述的数据消费后，还包括：所有读取线程和处理线程结束后，返回处理所述Hive文件。

9.一种Hive文件读写装置，其特征在于，包括：

配置模块，读取数据接入表，获取服务器信息和并行度信息；

连接模块，根据所述的服务器信息，生成执行程序以连接Hive文件所在的服务器；

执行模块，根据所述的服务器信息和并行度信息，确定所述Hive文件的读取线程数量、处理线程数量和分批大小；

数据消费模块，接入所述的Hive文件数据，进行数据消费，

所述服务器信息至少包含一个服务器节点，所述服务器节点按集中式或分布式部署；所述Hive文件包含至少一个表；所述并行度信息由所述服务器节点的网络延时和/或各所述服务器节点路由状况确定。