[发明专利]一种实现大数据同步的方法和系统

摘要

本发明涉及一种实现大数据同步的方法和系统。其中方法包括步骤S1，Oracle数据库将需要同步数据的表的表名以及表中的字段名列发送给Hadoop集群；步骤S2，Hadoop集群根据接收到的表名和字段名列生成同步表，并根据同步表加载需要同步的数据至同步表中，生成数据文件，并将所述数据文件导出到与所述Oracle数据库对应的服务器上；步骤S3，Oracle数据库将服务器上数据文件中的数据加载至Oracle数据库。本发明以配置方式实现数据库与Hadoop数据的同步，只要配置表名到数据库中，被配置的表即可实现同步，相比于现有技术，能够降低新增脚本、测试上线等工作量，不需要每次新增同步程序，效率高，成本低，并且能够降低因测试不到位等情况引起的风险。

主权项

1.一种实现大数据同步的方法，其特征在于，包括如下步骤：步骤S1，Oracle数据库将需要同步数据的表的表名以及表中的字段名列发送给Hadoop集群；步骤S1包括如下步骤：步骤S11，Oracle数据库确定需要同步数据的表的表名；步骤S12，根据表名从Oracle数据库中的表字段存放表中获取需要同步数据的表中的字段名列；步骤S13，Oracle数据库将表名和字段名列发送给Hadoop集群；步骤S2，Hadoop集群根据接收到的表名和字段名列生成同步表，并根据所述同步表加载需要同步的数据至所述同步表中，生成数据文件，并将所述数据文件导出到与所述Oracle数据库对应的服务器上；步骤S3，Oracle数据库将服务器上所述数据文件中的数据加载至Oracle数据库。