[发明专利]一种数据表的导入方法、数据管理器以及服务器有效

专利信息
申请号: 201480000196.2 申请日: 2014-02-18
公开(公告)号: CN105264521B 公开(公告)日: 2018-10-30
发明(设计)人: 黄坚坚;王玉虎 申请(专利权)人: 华为技术有限公司
主分类号: G06F17/30 分类号: G06F17/30
代理公司: 北京同达信恒知识产权代理有限公司 11291 代理人: 黄志华
地址: 518129 广东*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 数据表 导入 方法 数据 管理器 以及 服务器
【说明书】:

发明实施例提供一种数据表的导入方法、数据管理器以及服务器,该方法包括:数据管理器读取M张待导入数据表中的导入次序为1的第1张数据表的数据,并根据分布式数据库中的N个服务器,将第1张数据表的数据分成N份并分别发送给N个服务器;按照导入次序,并分别取i值为2至M的整数,数据管理器依次对M张待导入数据表中的第i张数据表执行至少一次下述步骤:数据管理器读取第i张数据表的至少部分外键,并将至少部分外键发送给N个服务器;数据管理器接收N个服务器将至少部分外键与第i‑1张数据表的主键进行连接处理后而获得的N个处理结果;数据管理器将第i张数据表中与N个处理结果对应的对应数据分别发送给N个服务器。

技术领域

本发明涉及数据处理领域,特别涉及一种数据表的导入方法、数据管理器以及服务器。

背景技术

随着现代生活中大量数据的产生以及科技的发展,分布式数据库以其能够高效处理大量数据的优点开始在各个领域中被广泛使用。

分布式数据库可以包括一个或者多个客户端(Client)和多个服务器(Mserver),其中,客户端负责与用户的交互,例如接收用户的查询、修改或者导入指令等等,服务器负责处理导入到数据库中的数据,如存储以及修改数据库中表的相关信息等等,为了方便地将数据导入到分布式数据库中,通常会使用数据管理器(Data Manager),在实际应用中,一个或者多个客户端与数据管理器相连,数据管理器分别与多个服务器分别相连,数据管理器负责处理客户端发送的各种指令、数据管理以及与服务器之间的数据传送,从而将用户希望导入到分布式数据库中的数据导入到服务器中。

以将多张具有关联关系的数据表导入到上述所介绍的分布式数据库中为例,该方法包括:

S1:客户端接收用户输入的导入命令,并将该导入命令发送给数据管理器;

S2:数据管理器向服务器请求目标数据表的信息,主要是获取数据表和数据表之间的关联关系;

S3:服务器向数据管理器返回数据表和数据表的关联关系;

S4:数据管理器根据返回的关联关系,确定数据表的导入次序,并获取导入次序为1的数据表、也即第一张数据表的数据;

S5:数据管理器将第一张数据表的主键记录下来,并记录其对应所在的服务器,即建立主键与服务器的映射表;

S6:数据管理器将第一张数据表均匀分割,并分发给服务器;

S7:数据管理器按照导入次序,获取下一张数据表的数据;

S8:数据管理器通过该下一张数据表的外键与上张已导入表的主键与服务器的映射表,确定要导入表该行所在服务器,然后将要导入表的该行传给相应的服务器,然后建立该下一张数据表的主键与服务器的映射表。

重复S7-S8,直到所有数据表都导入到分布式数据库中。

可以看出,在将数据表导入到分布式数据库的过程中,数据管理器需要计算的数据量特别多,例如步骤S5中“建立数据表的主键与服务器的映射表”,再如步骤S7中“通过该下一张数据表的外键与上张已导入表的主键与服务器的映射表,确定要导入表该行所在服务器,然后将要导入表的该行传给相应的服务器,然后建立该下一张数据表的主键与服务器的映射表”等等,而服务器要处理的数据量较小,也就是说,在将数据表导入分布式数据库的过程中,数据管理器大部分时间会处于服务状态(忙碌状态),而服务器在大部分时间都处于等待状态(空闲状态),因此,现有技术中在将数据表导入到分布式数据库的过程中,存在数据管理器压力过大,资源利用率较低的技术问题。

发明内容

本发明提供一种数据表的导入方法、数据管理器以及服务器,用以解决现有技术中在将数据表导入到分布式数据库的过程中,存在的数据管理器压力过大,资源利用率较低的技术问题。

第一方面,本发明提供一种数据表的导入方法,包括:

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201480000196.2/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top