[发明专利]数据迁移方法和装置

说明书

本发明公开了一种数据迁移方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：确定关系型数据库中待迁移的至少一条数据记录；从关系型数据库中读取所述数据记录，并将每一数据记录转换为符合文档型数据库存储格式的数据文档；将转换得到的数据文档写入文档型数据库。该实施方式能够提高从关系型数据库到文档型数据库的数据迁移效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据迁移方法和装置。

背景技术

随着大数据技术的发展，需要将关系型数据库中的数据迁移到非关系型数据库如文档型数据库中。现有的数据迁移方案中，首先需要将关系型数据库中待迁移的数据存储为本地逗号分隔值CSV(Comma-Separated Values)文件，之后将本地文件切片并以串行的方式读取并转换为文档型数据库所要求的格式，最后写入文档型数据库。其中，上述本地对应于执行数据迁移的电子设备，该电子设备既不同于关系型数据库所在的电子设备，也不同于文档型数据库所在的电子设备。

这种方案需要将关系型数据库中的数据写入本地再插入文档型数据库，其执行流程较复杂导致效率较低。同时，只能用串行方式读取本地CSV文件进一步降低其效率，并且本地文件的写入会占用本地存储空间。

发明内容

有鉴于此，本发明实施例提供一种数据迁移方法和装置，可从关系型数据库中读取待迁移的数据记录并在格式转换之后直接写入文档型数据库，从而提高数据迁移效率。

为实现上述目的，根据本发明的一个方面，提供了一种数据迁移方法。

本发明实施例的数据迁移方法用于将关系型数据库中的数据迁移到文档型数据库；所述方法包括：确定关系型数据库中待迁移的至少一条数据记录；从关系型数据库中读取所述数据记录，并将每一数据记录转换为符合文档型数据库存储格式的数据文档；将转换得到的数据文档写入文档型数据库。

可选地，确定关系型数据库中待迁移的至少一条数据记录，包括：通过结构化查询语言SQL语句确定关系型数据库中待迁移的至少一条数据记录。

可选地，从关系型数据库中读取所述数据记录，包括：创建至少一个数据读取线程，为每一数据读取线程分配需要读取的数据记录标识；利用所述数据读取线程从关系型数据库中并行读取所述数据记录。

可选地，将每一数据记录转换为符合文档型数据库存储格式的数据文档，包括：针对每一数据记录中的每一字段：保持该字段的字段值不变，依据预先建立的、关系型数据库与文档型数据库之间的字段名映射关系将该字段的字段名更新为文档型数据库中的字段名；将每一更新后的字段名与其对应的字段值组合为所述数据文档。

可选地，所述方法进一步包括：在将每一数据记录转换为符合文档型数据库存储格式的数据文档之后，将所述数据文档发送到预先建立的消息队列中；以及，将转换得到的数据文档写入文档型数据库，包括：创建至少一个数据写入线程，利用所述数据写入线程从所述消息队列中获取所述数据文档并将所述数据文档写入文档型数据库。

可选地，所述关系型数据库包括MySQL或Oracle，所述文档型数据库包括MongoDB或CouchDB。

为实现上述目的，根据本发明的另一方面，提供了一种数据迁移装置。

本发明实施例提供的数据迁移装置用于将关系型数据库中的数据迁移到文档型数据库，可以包括：数据查询单元、数据转换单元以及数据写入单元。其中，数据查询单元可用于确定关系型数据库中待迁移的至少一条数据记录；数据转换单元可用于从关系型数据库中读取所述数据记录，并将每一数据记录转换为符合文档型数据库存储格式的数据文档；数据写入单元可用于将转换得到的数据文档写入文档型数据库。

可选地，数据查询单元可进一步用于：通过结构化查询语言SQL语句确定关系型数据库中待迁移的至少一条数据记录。