[发明专利]一种动态实时同步多源大表数据的增强实时计算方法

权利要求书

1.一种动态实时同步多源大表数据的增强实时计算方法，其特征在于，该方法包括以下步骤：

S1、基于虚拟节点一致性哈希算法与结构化查询语言通过单节点存储引擎搭建分布式动态表管理组件；

S2、通过结构化查询语言在分布式动态表管理组件中创建分布式动态表，并通过分布式动态表来标准化多源库表的数据结构；

S3、通过实时同步技术管理分布式动态表元数据变更信息的同步更新；

S4、初始化批量导入分布式动态表数据；

S5、核对导入数据的完整性；

S6、对分布式动态表中的数据进行实时更新；

S7、对数据同步更新过程进行实时数据的同步监控；

S8、将分布式动态表中的数据通过结构化查询语言转换成实时流数据的虚拟表；

S9、将虚拟表中的数据与预先配置的流数据进行结合流计算；

S10、输出流计算结果；

其中，所述将分布式动态表中的数据通过结构化查询语言转换成实时流数据的虚拟表还包括以下步骤：

S81、编写读取分布式动态表的结构化查询语言；

S82、通过解析器和验证器分析与校验结构化查询语言的合规性；

S83、将结构化查询语言拆分成代码可编写的算子，识别包括分布式动态表及相关字段信息，分析出字段与值，并根据表数据存储格式进行模糊查询；

S84、通过应用程序接口及事务机制，保障虚拟表名与分布式动态表名的一致性，实现分布式动态表的数据转换成流数据；

所述将虚拟表中的数据与预先配置的流数据进行结合流计算还包括以下步骤：

S91、利用实时计算引擎的结构化查询语言读取虚拟表与流表的数据；

S92、按需加载虚拟表的数据，解析加载虚拟表的数据的条件，根据条件通过异步多线程方式从分布式动态表中加载数据到实时计算引擎的内存中；

S93、虚拟表数据加载过程中，启用异步多并发方式传递数据，根据数据量大小来动态分配传递的并发数；

S94、加载时根据表分组、数据的读取范围以及集群资源的空闲情况拆分成并发取数端，并进行并发读取数据。

2.根据权利要求1所述的一种动态实时同步多源大表数据的增强实时计算方法，其特征在于，所述基于虚拟节点一致性哈希算法与结构化查询语言通过单节点存储引擎搭建分布式动态表管理组件还包括以下步骤：

S11、基于虚拟节点一致性哈希算法实现数据的均衡分布存储；

S12、分析结构化查询语言并转换成库表信息代码，再通过分布算法与单节点存储引擎的应用程序接口实现数据的读写操作。

3.根据权利要求2所述的一种动态实时同步多源大表数据的增强实时计算方法，其特征在于，所述基于虚拟节点一致性哈希算法实现数据的均衡分布存储还包括以下步骤：

S111、将整个哈希空间抽象成为虚拟圆环；

S112、对哈希函数的值进行存取路由时，首先路由到虚拟节点上，再由虚拟节点寻找到真实的节点；

S113、在虚拟圆环上虚拟P个物理节点，将每个物理节点虚拟出N个虚拟节点，再将总的虚拟节点随机映射到虚拟圆环上；

S114、数据存储与获取；

其中，虚拟节点总数公式为：

虚拟节点总数（M）=物理节点数（P）*虚拟节点数（N）。

4.根据权利要求1所述的一种动态实时同步多源大表数据的增强实时计算方法，其特征在于，所述通过实时同步技术管理分布式动态表元数据变更信息的同步更新还包括以下步骤：

S31、字段变更；

S32、主键与索引字段的变更；

其中，所述字段变更包括字段编码及字段数据类型变更。

5.根据权利要求1所述的一种动态实时同步多源大表数据的增强实时计算方法，其特征在于，所述初始化批量导入分布式动态表数据还包括以下步骤：

S41、根据获取的库表名称，从内存中获取库表的元数据信息；

S42、利用分布式动态表管理组件的入库语句将多个域值对应设置到哈希表中；

S43、利用分区策略保存数据，并形成表数据存储格式。