[发明专利]数据全量导出方法、数据导出任务分配装置及数据导出节点装置

说明书

本发明提供一种数据全量导出方法、数据导出任务分配装置及数据导出节点装置，方法包括：数据导出任务分配装置针对待导出数据表中的每一数据单元，分析管理所述数据单元的服务单元，其中，所述待导出数据表中包括至少一个数据单元；所述数据导出任务分配装置将所述待导出数据表中的每一数据单元导出任务分别分配至管理所述数据单元的服务单元所在的主机，以使所述主机上部署的数据导出节点装置对其管理的数据单元加权平均划分后进行数据导出。通过发明，能够在提高数据导出效率的基础上，降低网络IO。

技术领域

本发明涉及通信领域，尤其涉及一种数据全量导出方法、数据导出任务分配装置及数据导出节点装置。

背景技术

Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，其对于查询表中的数据，提供了Get和Scan两种方式，其中Get方法用于按指定Rowkey获取唯一一条记录，而在Scan方法中，通过限定StartRowkey和EndRowkey，可以一次性获取Rowkey介于StartRowkey和EndRowkey之间的所有记录。HBase的设计特性决定了基于Rowkey检索数据效率非常高，但检索的条件如果是普通列，就需要进行全表扫描，即构造一个不指定StartRowkey和EndRowkey的Scan查询对象，并发起请求，全量数据导出就属于此类场景下的一个实际应用。

现有技术中，全量数据导出通常采用MapReduce批量任务方式。这种方式充分利用了整个HBase集群的计算资源，将整个表的数据导出任务拆分后分散到集群中的每个节点上去运行。借助MapReduce框架，用户只需要编写map和reduce两个函数，在map函数中，创建HBase连接、打开指定表、构造Scan对象并发送查询请求，直接处理结果集，或将结果集中的数据发送出去，交由reduce阶段处理。MapReduce框架会将任务拆分成若干细粒度的任务，分散到集群中的每个节点去并行运行，同时将最终的结果集输出到HDFS上配置的输出目录中。

但是，MapReduce批量任务方式一般都根据HBase中每个节点的CPU空闲程度进行分配任务，由于待导出的任务可能节点所在的主机中不存在备份，因此，需要从其他主机中调取数据，从而导致集群中的主机之间存在大量数据拷贝，会产生很高的网络IO，极端情况下会给集群中服务进程间的通信带来影响，而主机的CPU却很空闲，集群的各类资源得不到均衡利用。此外，由于MapReduce批量任务方式一般都是按照一个“Region一个任务”的力度将待导出的数据分配至各节点中，但是，由于每个Region之间的数据量差异较大，因此，可能会存在80％的任务运行仅用掉了20％的时间，而20％的任务运行却用掉80％的时间，造成数据导出效率低。

发明内容

本发明提供一种数据全量导出方法、数据导出任务分配装置及数据导出节点装置，用于提高Hbase的数据导出效率以及降低Hbase的数据导出过程中较高的网络IO。

本发明的第一个方面是提供一种数据全量导出方法，包括：数据导出任务分配装置针对待导出数据表中的每一数据单元，分析管理所述数据单元的服务单元，其中，所述待导出数据表中包括至少一个数据单元；所述数据导出任务分配装置将所述待导出数据表中的每一数据单元导出任务分别分配至管理所述数据单元的服务单元所在的主机，以使所述主机上部署的数据导出节点装置对其管理的数据单元加权平均划分后进行数据导出。

本发明的另一个方面是提供一种数据全量导出方法，包括：数据导出节点装置接收数据导出任务分配装置分配的数据单元导出任务，所述数据单元导出任务对应的数据单元由所述管理所述数据单元的服务单元所在的主机上部署的数据导出节点装置管理；数据导出节点装置根据所述数据单元导出任务，调用服务单元从其自身所在的主机上配置的HDFS的数据节点获取当前待导出的数据单元的副本，且所述数据节点存储有所述服务单元管理的全部数据单元的副本；数据导出节点装置将所述数据单元的副本平均分配至各线程池中进行数据导出。