[发明专利]一种数据共享交换平台库表资源的订阅方法和系统

说明书

一种数据共享交换平台库表资源的订阅方法和系统，包括：数据发送端前置系统获取数据资料，将数据资料打包并进行加密，得到加密数据包；将加密数据包推送到数据接收端前置系统的任务队列中，并生成接收任务；数据接收端前置系统接收任务队列中的加密数据包，对加密数据包进行解密，得到数据资料。本申请实施例采用端到端的部署方式，通过对交换数据的抽取形成标准化数据文件加密后以分包形式发送到数据发送端前置系统，再合包、解密、解析入库，最终完成数据共享服务，本申请无需对外开放所有数据库端口，保证了数据的存储安全，采用前置系统方式进行订阅服务，有效地隔离了双方数据库，保证了业务系统和数据库的独立性。

技术领域

本申请涉及数据库，尤其涉及一种数据共享交换平台库表资源的订阅方法和系统。

背景技术

目前，市场上数据共享交换平台库表资源的订阅主要是依托于ETL(Extract-Transform-Load，数据仓库技术)工具，在使用过程中要求各数据库节点处于同一网络环境，订阅时采用库对库直连方式进行传输，ETL数据同步分为四步：1、用A驱动连接A数据库；2、用B驱动连接B数据库；3、将A库中的数据读到内存中；4、将内存中的数据写入B库中。由于在同一网络环境，读、写都是基于内存中的数据，且存在时间很短，因此基本不做加密处理。这种方法有如下限制：1需要源端和目标端开放数据库端口；2、同步过程中通常没有对数据进行加密；3、ETL服务器需要访问到同步双方的数据库，缺乏有效地隔离。

发明内容

本申请提供一种数据共享交换平台库表资源的订阅方法和系统。

根据本申请的第一方面，本申请提供一种数据共享交换平台库表资源的订阅方法，包括：

数据发送端前置系统根据订阅信息从数据源中获取数据资料，将所述数据资料打包并进行加密，得到加密数据包；

所述数据发送端前置系统将所述加密数据包推送到数据接收端前置系统的任务队列中，并在所述数据接收端前置系统中生成接收任务；

所述数据接收端前置系统根据所述接收任务接收所述任务队列中的所述加密数据包，对所述加密数据包进行解密，得到所述数据资料。

进一步地，所述数据发送端前置系统将所述加密数据包推送到数据接收端前置系统的任务队列中，包括：

将所述加密数据包添加到消息中，增加消息属性；

记录当前所述加密数据包的大小和在整个数据包中的位置，记录已发送字节数；

将所述消息推送到所述数据接收端前置系统的任务队列中。

进一步地，所述数据接收端前置系统根据所述接收任务接收所述任务队列中的所述加密数据包，对所述加密数据包进行解密，得到所述数据资料，包括：

获取所述消息属性，根据所述消息属性进行数据包组装，写入本地文件；

修改所述任务队列中对应的任务消息状态。

进一步地，所述数据发送端前置系统将所述加密数据包推送到数据接收端前置系统的任务队列中生成接收任务，包括：

所述数据接收端前置系统发现所述任务队列中存在数据接收任务后，生成数据接收工作线程。

进一步地，所述发送端前置系统和所述接收端前置系统部署在不同的服务器中，所述发送端前置系统和所述接收端前置系统各自设有自己独立的共享数据库，所述共享数据库只开放对本节点的所述发送端前置系统的访问权限。

根据本申请的第二方面，本申请提供一种数据共享交换平台库表资源的订阅系统，包括数据发送端前置系统和数据接收端前置系统，所述数据发送端前置系统包括采集模块和推送模块，所述数据接收端前置系统包括处理模块；