[发明专利]数据转化方法及系统

说明书

技术领域

本发明涉及数据库技术领域，尤其涉及一种数据转化方法及系统。

背景技术

目前，随着计算机软件技术的发展，企业内部所使用的大型IT系统(例如人事系统、财务系统)越来越多，不同的IT系统在正常工作时往往会生成大量的数据。所述数据一般存储于对应的数据库中。通常，企业内部大型IT系统之间往往存在较为紧密的依赖关系，一个IT系统在正常运行时，可能经常需要从一个或多个其他的IT系统中导入或导出数据，或者，经常将该IT系统的数据同步到一个或多个其他的IT系统中去。

然而，不同IT系统在开发之初开发者的习惯不同，不同IT系统所对应的业务类型也存在差异，使得大部分的IT系统所预先配置的数据库往往各不相同。例如，企业财务系统可能采用的MySQL数据库来存储财务数据，而企业人事系统的人事数据却采用的Oracle数据库来存储等。这导致不同IT系统之间在进行数据导入、数据导出、以及数据同步任务时，往往需要需要较长的时间，严重影响IT系统的工作效率。

发明内容

有鉴于此，本发明提出一种数据转化方法及系统，能够更加快捷、高效地进行企业内部IT系统之间数据库数据的转化工作。

首先，为实现上述目的，本发明提出一种数据转化系统，所述系统包括：

请求接收模块，用于接收数据转化请求，所述数据转化请求包括源数据库的类型和数据格式、待转化数据、目的数据库的类型和数据格式；

工具确定模块，用于根据所述源数据库的类型和数据格式确定从该源数据库读取数据的读取工具，根据所述目的数据库的类型和数据格式确定在该目的数据库内写入数据的写入工具；

数据采集模块，用于利用所述读取工具从所述源数据库中读取所述待转化数据；

数据转化模块，用于将所述待转化数据转化为与所述目的数据库的数据格式对应的数据；

数据写入模块，用于获取转化后的数据，并利用所述写入工具将所述转化后的数据写入所述目的数据库。

可选地，所述数据转化模块，具体用于：

从所述读取工具接收所读取的待转化数据，并将所述待转化数据转化为预设格式的字符；

解析所述预设格式的字符，将所述预设格式的字符转化为所述目的数据库的数据格式的数据。

可选地，所述目的数据库包括多个，其中：

所述工具确定模块，还用于根据每一个目的数据库的类型和数据格式确定与每一个目的数据库对应的写入工具；

所述数据转化模块，还用于将所述待转化数据分别转化为与每一个目的数据库的数据格式相对应的数据；

数据写入模块，用于分别获取与每一个目的数据库相对应的转化后的数据，并利用与每一个目的数据库相对应的写入工具，在每一个目的数据库中分别写入与之对应的转化后的数据。

可选地，所述预设格式的字符包括Json格式的字符。

可选地，所述数据转化请求包括数据导入请求、数据导出请求、以及数据同步请求；所述源数据库或所述目的数据库包括MySQL、Oracle、Hive、Hdfs。

相较于现有技术，本发明所提出的数据转化系统，首先根据源数据库的类型和数据格式、目的数据的类型和数据格式，分别确定了读取数据所需的读取工具和写入数据所需的写入工具；然后利用所确定的读写工具从源数据库中读取用户指定的待转化数据，并将该待转化数据转换成预定格式的字符；接着以预定格式字符为媒介，将待转化数据转化成为符合目的数据库数据格式要求的数据，最后将转化后的数据写入目的数据中。这样，通过轻量级的媒介格式，实现了多个数据库之间数据的快速导入、导出和同步，提高了数据转化的速度和IT系统的工作效率。同时，本发明在有新格式的数据库时，仅需在该系统内添加对应的读写工具即可实现该数据库的数据与原有数据库之间的数据转化，无需重复开发、维护多个数据转化工具，具备较强的可拓展性。

此外，为实现上述目的，本发明还提供一种数据转化方法，所述方法包括：

所述方法包括：

接收数据转化请求，所述数据转化请求包括源数据库的类型和数据格式、待转化数据、目的数据库的类型和数据格式；

根据所述源数据库的类型和数据格式确定从该源数据库读取数据的读取工具，根据所述目的数据库的类型和数据格式确定在该目的数据库内写入数据的写入工具；

利用所述读取工具从所述源数据库中读取所述待转化数据；

将所述待转化数据转化为与所述目的数据库的数据格式对应的数据；及