[发明专利]一种数据表的导入方法、数据管理器以及服务器有效
申请号: | 201480000196.2 | 申请日: | 2014-02-18 |
公开(公告)号: | CN105264521B | 公开(公告)日: | 2018-10-30 |
发明(设计)人: | 黄坚坚;王玉虎 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 黄志华 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据表 导入 方法 数据 管理器 以及 服务器 | ||
本发明实施例提供一种数据表的导入方法、数据管理器以及服务器,该方法包括:数据管理器读取M张待导入数据表中的导入次序为1的第1张数据表的数据,并根据分布式数据库中的N个服务器,将第1张数据表的数据分成N份并分别发送给N个服务器;按照导入次序,并分别取i值为2至M的整数,数据管理器依次对M张待导入数据表中的第i张数据表执行至少一次下述步骤:数据管理器读取第i张数据表的至少部分外键,并将至少部分外键发送给N个服务器;数据管理器接收N个服务器将至少部分外键与第i‑1张数据表的主键进行连接处理后而获得的N个处理结果;数据管理器将第i张数据表中与N个处理结果对应的对应数据分别发送给N个服务器。
技术领域
本发明涉及数据处理领域,特别涉及一种数据表的导入方法、数据管理器以及服务器。
背景技术
随着现代生活中大量数据的产生以及科技的发展,分布式数据库以其能够高效处理大量数据的优点开始在各个领域中被广泛使用。
分布式数据库可以包括一个或者多个客户端(Client)和多个服务器(Mserver),其中,客户端负责与用户的交互,例如接收用户的查询、修改或者导入指令等等,服务器负责处理导入到数据库中的数据,如存储以及修改数据库中表的相关信息等等,为了方便地将数据导入到分布式数据库中,通常会使用数据管理器(Data Manager),在实际应用中,一个或者多个客户端与数据管理器相连,数据管理器分别与多个服务器分别相连,数据管理器负责处理客户端发送的各种指令、数据管理以及与服务器之间的数据传送,从而将用户希望导入到分布式数据库中的数据导入到服务器中。
以将多张具有关联关系的数据表导入到上述所介绍的分布式数据库中为例,该方法包括:
S1:客户端接收用户输入的导入命令,并将该导入命令发送给数据管理器;
S2:数据管理器向服务器请求目标数据表的信息,主要是获取数据表和数据表之间的关联关系;
S3:服务器向数据管理器返回数据表和数据表的关联关系;
S4:数据管理器根据返回的关联关系,确定数据表的导入次序,并获取导入次序为1的数据表、也即第一张数据表的数据;
S5:数据管理器将第一张数据表的主键记录下来,并记录其对应所在的服务器,即建立主键与服务器的映射表;
S6:数据管理器将第一张数据表均匀分割,并分发给服务器;
S7:数据管理器按照导入次序,获取下一张数据表的数据;
S8:数据管理器通过该下一张数据表的外键与上张已导入表的主键与服务器的映射表,确定要导入表该行所在服务器,然后将要导入表的该行传给相应的服务器,然后建立该下一张数据表的主键与服务器的映射表。
重复S7-S8,直到所有数据表都导入到分布式数据库中。
可以看出,在将数据表导入到分布式数据库的过程中,数据管理器需要计算的数据量特别多,例如步骤S5中“建立数据表的主键与服务器的映射表”,再如步骤S7中“通过该下一张数据表的外键与上张已导入表的主键与服务器的映射表,确定要导入表该行所在服务器,然后将要导入表的该行传给相应的服务器,然后建立该下一张数据表的主键与服务器的映射表”等等,而服务器要处理的数据量较小,也就是说,在将数据表导入分布式数据库的过程中,数据管理器大部分时间会处于服务状态(忙碌状态),而服务器在大部分时间都处于等待状态(空闲状态),因此,现有技术中在将数据表导入到分布式数据库的过程中,存在数据管理器压力过大,资源利用率较低的技术问题。
发明内容
本发明提供一种数据表的导入方法、数据管理器以及服务器,用以解决现有技术中在将数据表导入到分布式数据库的过程中,存在的数据管理器压力过大,资源利用率较低的技术问题。
第一方面,本发明提供一种数据表的导入方法,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201480000196.2/2.html,转载请声明来源钻瓜专利网。
- 上一篇:控制电子设备的方法
- 下一篇:用于使用数组对来合并有序列表的方法和系统
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置