[发明专利]一种大数据架构用于集成处理与服务共享的中台系统

说明书

本发明提供一种大数据架构用于集成处理与服务共享的数据中台系统，涉及大数据处理技术领域，包括：数据集成模块，用于接入外部的至少一数据提供方，由数据提供方获取数据资源并存入数据资源中心的一区级数据湖进行治理和建设主题库，以实现数据资源的数据集成；数据存储模块，对数据集成模块收集的数据进行加工、储存，数据存储处理能对加工储存后的数据进行处理，对处理后的数据进行整合；数据服务共享模块，用于对数据共享过程进行统一管理。本技术方案提供了数据汇聚能力、数据治理功能的数据共享交换服务，同时通过数据共享管理模块对数据共享的过程进行统一管理，能更好地为大数据数据中台服务。

技术领域

本发明涉及数据中台技术领域，具体为一种大数据架构用于集成处理与服务共享的中台系统。

背景技术

现有的数据中台系统方便了场景化、服务化、引擎化、中台化、统一技术和智能化管理数据，但是现有的数据中台系统服务不够高效，系统结构冗杂，管理混乱，使得服务难以高效的推进，故而提出一种大数据架构用于集成处理与服务共享的中台系统来解决上述所提出的问题。

发明内容

解决的技术问题

针对现有技术的不足，本发明提供了一种大数据架构用于集成处理与服务共享的中台系统，具备服务更加高效的优点，解决了现有的数据中台系统服务不够高效，系统结构冗杂，管理混乱，使得服务难以高效的推进的问题。

技术方案

为实现上述服务更加高效的目的，本发明提供如下技术方案：一种大数据架构用于集成处理与服务共享的中台系统，包括数据集成模块、数据存储处理模块、和服务共享模块，根据第三方数据的信息标签将第三方数据通过ETL流程加载到预设的所述数据中台。

优选的，本系统采用云平台作为数据中台的载体，通过云平台中的私有云可以更加灵活高效地管理资源，而云平台中公有云的计算资源和存储资源又是私有云系统无法比拟的，通过将非机密功能迁移到公有云中，可以降低对内部私有云的压力和需求，将公有云和私有云进行混合匹配，以获取最佳的效果。

优选的，所述数据中台的数据处理包括：驱动模块、数据处理模块、数据预警模块、数据解析模块、数据模型模块和服务接口模块，数据解析模块、数据预警模块及数据处理模块通过驱动模块进行驱动。

优选的，服务接口模块：用于传输数据报文，数据报文包括XML数据和自定义的文本数据；

数据模型模块：用于根据不同的集成方式，将接收的数据报文的数据属性与数据库数据模型的映射关系组成数据配置模型，所述集成方式包括WebService、中间库抽取和FTP文件共享中的一种或多种；

数据解析模块：用于接收服务接口模块传输的数据报文，并根据数据配置模型将数据报文解析成数据JAVA对象；

数据预警模块：用于根据预警配置，检索数据JAVA对象，对异常数据JAVA对象生成预警提醒；

数据处理模块：用于垃圾数据JAVA对象剔除和遗漏数据JAVA对象补录。

优选的，所述客户匹配通过本系统首先根据用户注册信息获取用户的详细信息，进一步，服务共享者可以配置与所述服务共享请求相对应的服务的共享偏好，即共享规则集。

优选的，本系统根据预设的匹配算法，撮合匹配服务需求者和服务共享者间的服务供需关系，所述匹配算法包括但不仅限于：机器学习类算法、深度学习算法等算法。

优选的，所述通知客户：在客户匹配完成之后对服务共享者和服务需求者分别进行通知，所述客户评论：可以对双方的行为或此次服务共享事务进行评价，以便系统评估服务需求者和服务共享者的信用。

优选的，所述的一种大数据架构用于集成处理与服务共享的中台系统，其特征在于：数据集成模块能进行数据收集，数据存储处理模块能对数据集成模块收集的数据进行加工、储存，数据存储处理能对加工储存后的数据进行处理，对处理后的数据进行整合。