[发明专利]一种可信安全跨域数据交换的数据总线及传输方法

说明书

本发明公开了一种可信安全跨域数据交换的数据总线及传输方法，属于数据交换技术领域。包括：（一）数据采集层：利用flume日志采集模块和ETL数据采集模块采集不同场景数据；（二）数据治理层：将数据采集层采集数据进行标准化数据转换；（三）数据处理层：根据业务特征关系，将标准化数据进行非范式关系、数据冗余等处理，形成完整的业务数据集。（四）数据应用层：各业务系统将共享数据；共享开放式开发平台。本发明提供了一种安全的数据整合方式，能够融合不同结构的数据形成数据库，并对数据进行处理共享，能够保证数据库的安全性，避免被网络攻击。

技术领域

本发明涉及数据交换技术领域，具体涉及一种可信安全跨域数据交换的数据总线及传输方法。

背景技术

传统的企业网络安全重心一直是在建设封闭可控的环境，通过这种方式来防御各种各样的网络攻击。但是，近年来伴随着互联网、智能移动设备、物联网技术和云计算的快速发展及广泛应用，网络边界一次次被打破和扩展，网络的开放性越来越强。同时随着基础网络技术的不断进步，网络攻击的手段和方法也在不断的革新。

现在企业的网络正处在持续性的风险状态，在这样严峻的安全风险面前任何现有的安全设备都难以应对。尤其是企业与互联网、智能移动设备、物联网进行数据交互时，传统基于策略的拦截和防御机制轻而易举就会被高级定向攻击所绕过，针对企业内部的攻击行为也逐渐变得更为难以捕获。

发明内容

针对现有技术的不足，本发明提供了一种可信安全跨域数据交换的数据总线及传输方法，实现各方元数据来源的标准化融合，形成基础信息数据资源库，在基础信息资源库上通过大数据治理服务对其元数据进行抽取清洗、智能规约、标签应用、索引建模、离线运算等大数据技术手段，形成应用服务数据仓库和主题模型。

一种可信安全跨域数据交换的数据总线，包括：

（一）数据采集层：利用flume日志采集模块和ETL数据采集模块采集不同场景数据；

（二）数据治理层：将数据采集层采集数据进行标准化数据转换；

（三）数据处理层：根据业务特征关系，将标准化数据进行非范式关系、数据冗余处理，形成完整的业务数据集；

（四）数据应用层：各业务系统将共享数据；共享开放式开发平台。

进一步的，所述数据采集层的数据主要来源分别为物联网、互联网、政务内网、业务应用系统，根据不同数据来源场景，分别使用不同的应用采集前置服务来完成；基于SpringBoot微服务架构，结合Docker容器部署，统一使用K8S进行服务容器资源协调来实现整个大数据ETL数据采集和flume日志采集过程。

进一步的，针对物联网非结构化、半结构化低价值密度数据进行关键数据特征提取，数据解析语义分析后形成标准化结构数据；通过网络爬虫技术对互联网关键舆情数据提取、语意分析后形成标准化结构数据；政务网应用及专网业务应用系统大多为结构化关系型数据，通过去重、替换、合并等技术手段对其进行标准化统一导入。

进一步的，所述的数据治理层通过自定义转换处理模型、关键特征过滤，实现向高价值结构化数据转换，并结合多维元数据信息，利用关键特征数据结合业务核心算法实现，最终建立适合解决业务主题分析的数据仓库，为实现高性能并行查询分析统计提供支撑。

进一步的，所述的数据采集层采集的日志或者数据传输给消息中间件Kafka，消息中间件Kafka是基于消息订阅模式的，一个订阅主题进行一次流程或者算法的实现，消息中间件根据订阅的主题，把数据推送或者拉取给这个订阅主题模块进行流程或者计算处理，订阅主题模块处理的结果，由另外一个订阅主题模块来订阅使用，就会把处理结果推送给下一个订阅模块去处理，依次执行下去；