[发明专利]一种数据集成方法和系统

说明书

一种数据集成方法和系统，包括：网关适配器将接收到的AFTN协议或ATN协议的数据流转换成JMS协议的报文数据，并通过网关模块转发给报文解析模块；报文解析模块将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再发送给数据集成模块；数据集成模块使用表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。

技术领域

本发明涉及民航空管和数据处理技术，尤指一种数据集成方法和系统。

背景技术

目前常用的数据集成方法主要是传统抽取转换加载(ETL，Extract-Transform-Load)方法、大数据ETL方法以及大数据抽取加载转换(ELT，Extract-Loading-Transform)方法。

其中，传统ETL方法是指抽取源数据库的数据，将抽取的数据的数据格式转化为目标数据库或者目标数据仓库的数据格式，然后将转换数据格式后的数据加载到目标数据库或目标数据仓库中，它本身是一个独立的连接源数据库和目标数据库货目标数据仓库的中转工具。

大数据ETL方法是指大数据既作为目标数据库也作为ETL工具本身，把源数据库的数据经过映射化简(MapReduce)处理后入库到分布式文件系统(HDFS，Hadoop DistributedFile System)中。其中，MapReduce处理可以采用分布式计算(Hadoop)软件或Spark软件实现。

大数据ELT方法是大数据ETL方法的另外一个形式，ETL作为数据转换工具，在源数据库存储空间较小，或者需要对源数据库中的数据进行处理分析，或者无法提供对源数据库中的数据进行整合需要的数据抽取方法时，往往采用大数据ELT方法，即先把源数据库中的数据先加载到大数据存储HDFS中，然后再对HDFS中的数据进行MapReduce处理，处理后的数据再次加载到大数据存储HDFS中。

大数据ETL和ELT两种方法都可以处理复杂的转换方式，存储也采用了支持更多的数据类型包括非结构化类型，但是基于块数据处理的Hadoop软件，无法及时处理动态数据，而采用Spark内存缓存和迭代处理方式，无法清楚内存数据的过期以及只能进行准实时MapReduce处理。

目前的数据集成方法具有以下缺陷：

1)无法实时转换处理

传统的ETL方法中，由于需要人工触发或定时器触发，只能处理秒级的数据，而实时处理需要处理50毫秒以下甚至纳秒级别的数据，因此无法进行实时处理。

大数据ELT方法和大数据ETL方法中，Hadoop软件采用是人工触发任务方式；Spark软件采用定时器触发机制，只能触发秒级别处理，因此无法进行实时处理。

2)不支持动态数据源

传统ETL方法中，只能处理数据库中的静态数据，无法支持数据流方式的处理；

大数据ELT方法和大数据ETL方法中，Hadoop软件只能支持块文件处理，无法支持实时流数据处理；Spark软件只能支持秒定时下的流数据处理，无法支持实时流数据源。

3)无法支持多种数据源

传统ETL方法只能采用驱动方式对数据库进行操作，无法支持提供服务或者动态数据流的数据源；