[发明专利]一种将数据导入数据库的装置

说明书

技术领域

本发明涉及数据迁移领域，特别是涉及一种将数据导入数据库的装置。

背景技术

在信息化的时代，一方面，企业内部的IT系统越来越多，每个系统负责处理自己的数据。但这绝不是一个个相互独立的信息孤岛，很多时候系统之间需要进行数据交互、信息共享。另一方面，在合作化、一体化的今天，不同企业间也存在数据交互的需求，比如交易所需要与登记结算机构进行每日的交易、结算数据交换。

但企业内部的各IT系统、不同企业组织所采用的数据存储方式并不相同，数据交换时采用的方式也各有不同，因此在数据交换时面临数据迁移的问题，比如，一种常见的情况是以文件进行数据交换，接收方接收到文件后，就需要将文件中的数据导入到自己的数据库。文件导入涉及多个处理环节，包括文件读取、文件校验、数据解析、数据校验、前置处理、数据导入、后置处理等。当导入文件较多或系统业务较复杂时，可能存在文件导入间的依赖关系，为了增加可用性，还需要管理文件的到达时间、结束时间以及出错处理等，另外对于某些大文件还需要多线程并行导入的支持，当然还包括一些扩展的特性，比如忽略某些行、最大导入记录数等。文件以外的其它的数据交换方式，也面临类似的数据迁移、导入的问题。

传统数据迁移技术一般采用硬编码或部分配置的处理方法，对很多处理逻辑进行了固化，缺乏灵活性和可扩展性。当导入数据比较少时，这种方法或许还能应付，但在如今数据爆炸的时代，而且数据迁移的接口变动也越来越频繁，所以迫切需要灵活、可扩展的数据迁移装置。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种将数据导入数据库的装置，用于解决现有技术中数据迁移时缺乏灵活性和可扩展性的问题。

为实现上述目的及其他相关目的，本发明提供一种将数据导入数据库的装置，包括：配置模块，在其中配置迁移数据的配置项，配置项至少包括数据源，目的数据库，数据库交互指令生成规则；控制模块，读取配置模块并解析出所述配置项，并根据配置项控制其它模块的操作；数据源读取模块，根据数据源配置项读取待迁移的数据；数据库交互模块，根据待迁移数据和数据库交互指令生成规则生成数据库交互指令，并将指令提交目的数据库。

优选地，上述将数据导入数据库的装置中，还可以在配置模块中配置前置操作，后置操作，线程管理，时间管理，数据依赖，错误管理，日志管理，数据字段约束条件等等配置项。

更优选地，上述将数据导入数据库的装置提供扩展接口，用于与迁移数据中可能用到的其它辅助工具集成，并且配置模块提供辅助工具配置项，装置可以根据辅助工具配置项控制辅助工具操作。

根据本发明的将数据导入数据库的装置，对数据迁移的各个环节进行抽象提炼后定义成配置项写入配置模块，所以对于不同的数据迁移任务，只需要修改配置模块，控制模块，数据源读取模块和数据库交互模块，以及使用的其它辅助工具对于任何数据迁移而言都可以保持不变，而配置模块的配置项丰富，且修改配置项非常灵活简便，这就大大提高了数据迁移的灵活性。

并且根据本发明将数据导入数据库的装置优选实施例，用户可以根据需要增减配置项，甚至配置并调用其它迁移数据时可能用到的辅助工具，大大提高了数据可扩展性。

附图说明

图1显示为根据本发明的将数据导入数据库的装置的结构框图。

图2显示为应用根据本发明的将数据导入数据库的装置实施例将文件数据导入关系数据库的流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅附图。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。