[发明专利]Hive文件读写方法及装置

说明书

本发明提供了一种Hive文件读写方法及装置，包括：读取数据接入表，获取服务器信息和并行度信息；根据所述的服务器信息，生成执行程序以连接Hive文件所在的服务器；根据所述的服务器信息和并行度信息，确定所述Hive文件的读取线程数量、处理线程数量和分批大小；接入所述的Hive文件数据，进行数据消费。本发明提供的方法还包括Hive文件数据分组业务配置，组装所述读取的Hive文件数据，及根据数据消费优先级配置，确定所述数据消费的顺序。相比于传统的Hive文件读写方法，本发明提供的技术方案避免了繁冗的编译过程，缓解了读取效率较低，无法控制读取过程的问题。

技术领域

本发明涉及一种Hive文件读写方法及装置，属于Hadoop数据仓库应用领域。

背景技术

Hive是一种底层封装了Hadoop的数据仓库处理工具，使用HQL语言实现数据查询，所有Hive文件数据都存储在Hadoop兼容的文件系统中。在现有技术中，采用HQL语言读取Hive分区，需要启动Hive客户端，进而采用HQL中的select语句指定partition(分区)的方式进行查询，通过Hive内置mapreduce模型返回数据，这种技术方案适合于数据分析和全局的处理。另一方面，这种技术方案需要访问Hive的metadata，占用mapreduce计算资源，无法实现高效率的数据读取，无法脱离HQL繁冗的编译过程，且存在读取的数据块较大，无法控制读取过程的技术问题。

发明内容

为了缓解上述技术问题，本发明的目的在于提供一种Hive文件读写方法及装置，实现Hive文件高效轻便读取，且可控制读取过程。

第一方面，本发明提供了一种Hive文件读写方法，包括：读取数据接入表，获取服务器信息和并行度信息；根据服务器信息，生成执行程序以连接Hive文件所在的服务器；根据服务器信息和并行度信息，确定Hive文件的读取线程数量、处理线程数量和分批大小；接入Hive文件数据，进行数据消费。

进一步地，服务器信息至少包含一个服务器节点，服务器节点按集中式或分布式部署；Hive文件包含至少一个表；并行度信息由服务器节点的网络延时和/或各服务器节点路由状况确定。

进一步地，在读取数据接入表后，如果服务器信息指向的服务器不可用和/或服务器信息存在错误，配置并保存数据接入表。

进一步地，读取线程数量由Hive文件的读取路径确定；处理线程数量由服务器节点剩余线程上限和Hive文件单行数据预估大小确定；分批大小由Hive文件单行数据预估大小确定。

进一步地，数据接入表还包括业务分组配置；读取数据接入表时，读取业务分组配置；在接入Hive文件数据前，还包括根据业务分组配置，组装读取的Hive文件数据。

进一步地，数据接入表还包括优先级；读取数据接入表时，读取优先级；在数据消费前，还包括根据优先级，确定数据消费的顺序。

进一步地，如果接入Hive文件数据发生异常，记录异常信息或断点信息，继续或者中止接入Hive文件数据。

进一步地，数据消费还包括：根据计算规模和/或网络延时，补充计算阻塞间隔。

进一步地，数据消费后还包括：所有读取线程和处理线程结束后，返回处理Hive文件。

第二方面，本发明还提供了一种Hive文件读写装置，包括：配置模块，读取数据接入表，获取服务器信息和并行度信息；连接模块，根据服务器信息，生成执行程序以连接Hive文件所在的服务器；执行模块，根据服务器信息和并行度信息，确定Hive文件的读取线程数量、处理线程数量和分批大小；数据消费模块，接入Hive文件数据，进行数据消费。