[发明专利]跨网络结构化数据收集系统

说明书

本发明实施例提供一种跨网络结构化数据收集系统。该系统包括：数据载入服务模块和数据中心通信模块；数据载入服务模块用于采集源数据中心各个数据库中的数据，并生成第一通信请求；数据中心通信模块用于将第一通信请求发送给目的数据中心；接收目的数据中心的反馈信息；将数据发送给目的数据中心。本发明实施例通过在每个分子公司建立上述跨网络结构化数据收集系统，形成对等的网络子集。减轻总部数据中心在数据传送，以及交换过程中的压力，提高了分子公司的效率。形成了一套在各数据中心中收集数据、分布式存储的数据收集系统，并且建立了分子数据中心的通信方式，节省了网络带宽资源，为分子数据中心数据交换使用提供基础。

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种跨网络结构化数据收集系统。

背景技术

随着大数据应用潜力的不断挖掘，很多公司分布在不同地区的分子公司都拥有自己的数据中心。数据部门需要将这些数据中心的数据跨公网收集、整合集中，为整个公司提供数据服务。

现有技术中，分子公司分别收集数据，并将数据汇聚到总部数据中心，总部数据中心对数据进行统一融合，形成数据资产。

由于总部数据中心对数据进行统一融合时需要耗费一定的时间，总部数据中心对数据进行统一融合后，分子公司才可以访问获取融合后的数据，造成分子公司的效率下降。另外，不同的分子公司需要向总部数据中心发送数据时，一个分子公司要等另一个分子公司发送完之后再发送，即不同的分子公司不能很好的并发执行数据发送，造成网络带宽资源的浪费。

发明内容

本发明实施例提供一种跨网络结构化数据收集系统，以提高分子公司的效率，以及网络带宽资源。

本发明实施例的一个方面是提供一种跨网络结构化数据收集系统，包括：数据载入服务模块和数据中心通信模块；

所述数据载入服务模块用于采集源数据中心各个数据库中的数据，并生成第一通信请求，所述第一通信请求用于请求所述数据中心通信模块将所述数据发送给目的数据中心；

所述数据中心通信模块用于将所述第一通信请求发送给所述目的数据中心；接收所述目的数据中心的反馈信息；将所述数据发送给所述目的数据中心。

可选的，所述数据载入服务模块还用于记录其工作状态，所述工作状态包括如下至少一种：

数据采集状态、数据预处理状态、数据传输状态。

可选的，所述数据中心通信模块包括：通信输出单元、通信核心组件；

所述通信输出单元用于将所述第一通信请求传输给所述通信核心组件；

所述通信核心组件用于对所述第一通信请求进行格式转换，并将转换后的所述第一通信请求发送给所述目的数据中心。

可选的，所述数据中心通信模块还包括：通信输入单元；

所述通信输入单元用于接收所述目的数据中心发送的第二通信请求，并根据所述第二通信请求，对所述目的数据中心的访问权限进行验证。

可选的，所述通信输入单元根据所述第二通信请求，对所述目的数据中心的访问权限进行验证时，具体用于：

解析所述第二通信请求，获取所述第二通信请求中的统一资源定位符；

查询所述数据中心通信模块是否存储有所述统一资源定位符；

若所述数据中心通信模块存储有所述统一资源定位符，则对所述目的数据中心的访问权限验证成功。

可选的，所述数据中心通信模块存储有白名单，所述白名单包括应用程序编程接口的访问规则；

所述通信输入单元查询所述数据中心通信模块是否存储有所述统一资源定位符时，具体用于：