[发明专利]一种分布式数据源异构同步的方法

说明书

本发明公开了一种分布式数据源异构同步平台及同步方法，该平台包含：前端和服务端；其中，前端用于提交数据源和显示数据源同步结果；服务端用于接收前端提交的数据源，并完成数据源同步请求，并将同步结果传送给前端；前端和服务端之间采用WebSocket技术进行通信；前端包含：react‑admin‑master前端独立模块，该前端独立模块采用了react+redux+ruby+webpack的前端框架，其包含：包含创建同步任务子模块、运行状态子模块和历史任务信息子模块；服务端包含：data‑transform‑api接口模块、data‑transform‑server服务模块和datax‑all服务插件模块。本发明的平台及方法能够提供一个安全的、通用的平台，且平台中各个微服务之间是松耦合的，可被独立部署，且可以插件化的管理。

技术领域

本发明申请为申请日2018年09月13日，申请号为：201811066833.2，名称为“一种分布式数据源异构同步平台及同步方法”的发明专利申请的分案申请。本发明属于计算机领域，具体涉及一种分布式数据源异构同步平台及同步方法。

背景技术

随着现代电商技术、大数据分析和人工智能技术的高速发展，对大量的、类型各异的信息数据进行整合，实现信息共享和内部信息一体化，已变得越来越重要。当前各个企业的信息化发展大都存在异构数据源难以同步的问题。一般来说，完成特定功能的子模块以企业信息系统为中心，各自封闭，扩展性和交互性较差；各类信息系统相互独立，无法利用充分利用不同数据源之间的优点进行数据的整合；本发明就是针对当前企业中存在的项目数据源异构问题，研究实现离线的分布式异构数据源同步的方法。

目前，大多数的数据交换和共享服务并不成熟，做的比较好的是阿里巴巴的开源框架Datax，它现在已经支持市面上使用的大多数常用的数据源，并且支持在异构的数据库或是文件系统之间进行高速的交换数据，提供了统一的接口与不同的插件进行交互，插件仅需实现对数据处理系统的访问，但是其难以独立部署，运行较复杂。

而对于现阶段的分布式异构数据源同步方案，只能支持少数的数据源，而对于Elasticsearch、Redis等数据源基本不予支持，同时它们也无法对任务过程进行随时暂停的控制。

发明内容

本发明的目的是提供一种分布式数据源异构同步平台及同步方法，解决了现有服务架构对于多异构数据源之间的同步难以实现的问题，能够提供一个安全的、通用的平台，且平台中各个微服务之间是松耦合的，可被独立部署，且可以插件化的管理。

为了达到上述目的，本发明提供了一种分布式数据源异构同步平台，该平台包含：前端和服务端；其中，所述前端用于提交数据源和显示数据源同步结果；所述服务端用于接收所述前端提交的数据源，并完成数据源同步请求，并将同步结果传送给所述的前端；所述的前端和服务端之间采用WebSocket技术进行通信；所述的前端包含：react-admin-master前端独立模块，该前端独立模块采用了react+redux+ruby+webpack的前端框架，其包含：包含创建同步任务子模块、运行状态子模块和历史任务信息子模块；所述的创建同步任务子模块用于创建同步任务；所述的运行状态子模块用于查看当前同步任务的运行状态；所述的历史任务信息子模块用于查看历史任务的信息；所述的服务端包含：data-transform-api接口模块、data-transform-server服务模块和datax-all服务插件模块。

其中，所述的data-transform-api接口模块用于抽象出微服务需要提供的RESTful API接口，并定义服务端需要接收的信息对象的实体类；该data-transform-api接口模块为微服务提供入口，所述微服务通过该接口模块进行相关信息的传递和服务请求的响应。