[发明专利]一种全球业务跨集群数据分析方法及系统

说明书

本发明公开了一种全球业务跨集群数据分析方法，步骤S1，建立主集群与从集群的映射关系；步骤S2，根据主从集群的资源映射关系，将主集群的查询计算请求映射为从集群查询计算请求，封装从集群查询计算请求；步骤S3，主集群发起多个从集群的模型计算，获取多个从集群的模型分析结果，通过多集群异步请求层对从集群进行包括但不限于监听计算结果、查询进度和请求取消操作；步骤S4，将不同计算模型的返回结果表示为通用二维表，对多集群模型请求结果进行聚合操作，并封装聚合结果；步骤S5，进入跨集群看板的跨集群查询模式或普通查询模式，本发明可以保留数据分析的灵活性和查询看板的一致性，还可以满足业务指标的聚合。

技术领域

本发明涉及数据分析和大数据集群架构领域，特别是涉及一种全球业务跨集群数据分析方法及系统。

背景技术

在全球数据安全意识不断提升背景下，用户行为数据的隐私政策也在不断加强加深，对于全球同服类业务，数据落地本地区集群将成为常态，跨集群的架构技术和数据分析技术会变的越来越来重要。其中跨集群元数据管理和跨集群聚合分析两项技术为跨集群架构的两项核心技术，元数据管理技术保证多个集群中元数据的一致性和管理便捷性，跨集群聚合分析提供统一视角分析跨集群聚合关键指标的能力。目前，市面上的分析技术只针对单个集群的数据制作分析看板和进行数据分析，针对全球同服类业务的场景需要一种跨集群的架构技术和数据分析技术，解决多集群元数据管理和跨集群统一视角分析等多个场景的痛点和难点。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种全球业务跨集群数据分析方法及系统，能够解决多集群元数据管理和跨集群统一视角分析等多个场景的痛点和难点。

为达上述目的，本发明提出一种全球业务跨集群数据分析方法，包括如下步骤：

步骤S1，建立主集群与从集群的映射关系；

步骤S2，根据主从集群的资源映射关系，将主集群的查询计算请求映射为从集群查询计算请求，封装从集群查询计算请求；

步骤S3，主集群发起多个从集群的模型计算，获取多个从集群的模型分析结果，通过多集群异步请求层对从集群进行包括但不限于监听计算结果、查询进度和请求取消操作；

步骤S4，将不同计算模型的返回结果表示为通用二维表，对多集群模型请求结果进行聚合操作，并封装聚合结果；

步骤S5，进入跨集群看板的跨集群查询模式或普通查询模式。

作为本发明的进一步优化，于步骤S2中，通过SQL Rewrite机制构建所述从集群查询计算请求，生成从集群模型SQL计算请求，包括如下步骤：

解析遍历SQL语句；

对于SQL元素中涉及到资源的部分按映射规则做替换；

作为本发明的进一步优化，于步骤S3中，所述监听计算结果具体为：主集群通过异步的方式提交多个从集群分析请求，并同步监听从集群的返回结果。

作为本发明的进一步优化，于步骤S3中，所述查询进度具体为：定时请求各个从集群的进度信息，设置每个集群相应的进度权重，计算总体进度情况。

作为本发明的进一步优化，于步骤S3中，所述请求取消具体为：多个集群进行联合查询时，某个从集群计算结果处于异常，取消其他从集群的查询请求以释放模型计算资源；所述请求取消采用FailFast策略，检测到一个集群结果异常后，异步触发其他从集群的计算请求。

作为本发明的进一步优化，步骤S4进一步包括如下步骤：

将不同计算模型的返回结果表示为ListMapObject,Object的通用二维表；

将转换为通用二维表的多个返回结果添加进总体结果列表；