[发明专利]一种动态实时同步多源大表数据的增强实时计算方法

说明书

本发明公开了一种动态实时同步多源大表数据的增强实时计算方法，该方法包括以下步骤：搭建分布式动态表管理组件；创建分布式动态表，并通过分布式动态表来标准化多源库表的数据结构；通过实时同步技术管理分布式动态表元数据变更信息的同步更新；初始化批量导入分布式动态表数据；核对导入数据的完整性；对分布式动态表中的数据进行实时更新；对数据同步更新过程进行实时数据的同步监控；将分布式动态表中的数据通过结构化查询语言转换成实时流数据的虚拟表；将虚拟表中的数据与预先配置的流数据进行结合流计算；输出流计算结果。有益效果：解决了实时计算结合外部数据源过亿大表下的复杂业务逻辑的实时计算要求。

技术领域

本发明涉及大数据计算技术领域，具体来说，涉及一种动态实时同步多源大表数据的增强实时计算方法。

背景技术

在实时计算过程中，很多实时业务存在对数据的补全、数据过滤，数据转换等复杂处理要求，由于补全、过滤的条件、转换等复杂逻辑需要的数据通常存储实时计算的过程之外，需要在实时计算时，连接外部不同的数据源来拉取数据，大数据量数据通常存过亿的大表数据，拉取数据的过程中的性能，完全依赖于源端数据源的性能，这样在实时计算过程中，存在很大的性能影响。

随着实时计算业务的普及，电信运营商及各企业单位对实时计算的业务场景要求也越来越丰富，其中就有很多场景要求实时数据同现有离线的库表数据结合计算的需求，如下的场景，对实时数据的补全，如实时数据记录：pkey=1，fkey=101，udata=200，...；需要根据fkey=101查询离线库表的获取数据 udatetype=‘敏感数据’，并最终形成实时数据记录输出：

pkey=1，fkey=101，udata=200，udatetype=‘敏感数据’；

实现此业务场景的现有的技术主要有：

1)、离线库表如果是结构化的数据库，如MySQL，oralce，PostgrESQL，hive等可以通过标准接口jdbc/odbc连接，即时用SQL可以读取表的数据，如SQL：select udatetype（字段）from db.t1（库.表）where fkey=101（索引字段作为查询条件）；其中udatetype字段的值就补全的数据；

2)、离线库表如果是半结构化或非结构化的数据库，如hbase，hdfs，clickhouse等，则需要通过其提供的连接方式的api实时读取数据后再进行实时数据计算等操作；

3)、将离线库表的数据提前加载到指定的内存中，计算的时候再从内存中读取数据计算或补全等操作；

现有的技术为满足实时计算秒级性能要求，大多依赖不同类型数据库自身的处理能力，对实时与离线数据结合计算主要存在以下缺陷：

1）、会造成对离线数据库的访问压力，影响到离线数据库自身的业务，由于实时数据每来一条记录都需要连接离线数据库并读取数据，如果同时并发处理100条或更多实时数据记录时，就需要连接离线数据库超过100次或更多，此时对离线数据库对造成很大的访问压力；

2）、难以满足实时计算的秒级性能要求，由于不同的数据库差异，难以保障读取过亿大表数据记录可秒级响应的能力，会导致实时计算延迟，造成大量的实时数据堆积的现象；

3）、读取内存数据时，数据的正确性难以保障，同时过亿大表数据还不一定可以完整加载到内存中，由于数据是预加载到内存，离线库表变动的数据没法及时同步到内存，会导致数据计算错误；

4）、多源数据的格式不统一，无形中增加计算对接的难度，由于不同的数据源如hbase，oracle等有不同的数据存储格式，在与实时数据结合计算时，需要每个算子针对不同的数据源分别开发，无形增加研发成本以及实现的复杂度。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容