[发明专利]一种可信安全跨域数据交换的数据总线及传输方法

权利要求书

1.一种可信安全跨域数据交换的数据总线，其特征在于包括：

（一）数据采集层：利用flume日志采集模块和ETL数据采集模块采集不同场景数据；

（二）数据治理层：将数据采集层采集数据进行标准化数据转换；

（三）数据处理层：根据业务特征关系，将标准化数据进行非范式关系、数据冗余等处理，形成完整的业务数据集；

（四）数据应用层：各业务系统将共享数据；共享开放式开发平台。

2.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于：所述数据采集层的数据主要来源分别为物联网、互联网、政务内网、业务应用系统，根据不同数据来源场景，分别使用不同的应用采集前置服务来完成；基于SpringBoot微服务架构，结合Docker容器部署，统一使用K8S进行服务容器资源协调来实现整个大数据ETL数据采集和flume日志采集过程。

3.根据权利要求2所述的一种可信安全跨域数据交换的数据总线，其特征在于针对物联网非结构化、半结构化低价值密度数据进行关键数据特征提取，数据解析语义分析后形成标准化结构数据；通过网络爬虫技术对互联网关键舆情数据提取、语意分析后形成标准化结构数据；政务网应用及专网业务应用系统大多为结构化关系型数据，通过去重、替换、合并等技术手段对其进行标准化统一导入。

4.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于所述的数据治理层通过自定义转换处理模型、关键特征过滤，实现向高价值结构化数据转换，并结合多维元数据信息，利用关键特征数据结合业务核心算法实现，最终建立适合解决业务主题分析的数据仓库，为实现高性能并行查询分析统计提供支撑。

5.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于所述的数据采集层采集的日志或者数据传输给消息中间件Kafka，消息中间件Kafka是基于消息订阅模式的，一个订阅主题进行一次流程或者算法的实现，消息中间件根据订阅的主题，把数据推送或者拉取给这个订阅主题模块进行流程或者计算处理，订阅主题模块处理的结果，由另外一个订阅主题模块来订阅使用，就会把处理结果推送给下一个订阅模块去处理，依次执行下去；

所述的日志数据由订阅主题模块订阅后，经中间消息件Kafka进行流处理模块，流处理方式可以为Kafka stream 流处理方式或者Spark Streaming 流处理方式，处理结果存储到大数据存储Hbase数据库、Hive数据库和字典及部分中间结果存储数据库MySQL。

6.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于针对不同的业务场景、分析特征进行预制的智能化标签处理，实现多维度大数据融合规约处理；通过使用大数据处理引擎Spark计算平台，对交互式查询和流处理进行高性能大数据集计算服务；运用SparkSQL结构化即时查询，Streaming实时计算、机器学习、图计算等核心体系，实现高性能分析运算，支撑业务主题仓库的建设。

7.根据权利要求6所述的一种可信安全跨域数据交换的数据总线，其特征在于数据处理层字典及部分中间结果存储数据库中的数据通过JDBC接口与数据应用层进行数据交互；流处理模块产生的实时预警消息推送经中间消息件Kafka，传输给数据应用层；

数据处理层设有Spark批处理作业大数据分析挖掘模块，所述模块利用Redis分布式K/V内存数据库和大数据存储Hbase数据库、Hive数据库的数据进行数据分析与挖掘，并将结果返回给大数据存储Hbase数据库、Hive数据库。