[发明专利]一种大规模边缘集群管理方法和系统

说明书

本发明公开了一种大规模边缘集群管理方法和系统，属于电数字数据处理技术领域，所述管理方法包括消息消费的方法：将边缘节点映射到第一传输流上，所述边缘节点通过第一传输流的第一主管道消费第一消息；将所述边缘节点映射到第二传输流上；所述边缘节点的第二消息传递到第二传输流的第二副管道；若第一传输流中的第一消息是否消费完，将第二消息移到第二传输流的第二主管道进行消费。通过主管道对消息进行消费，通过副管道对消息进行缓存，第一传输流上的第一消息消费完后，再将第二副管道的第二消息移到第二主管道进行消费，使所述边缘节点发出的消息具有时序性，确保传输流的平滑扩缩容。

技术领域

本发明涉及电数字数据处理技术领域，具体涉及一种大规模边缘集群管理方法和系统。

背景技术

边缘集群对边缘计算场景推出的管理方案，支持在边缘计算场景下进行统一的资源调度，以及应用的生命周期管理。边缘集群包括云端和边缘端。边缘端通常部署在各地，分布在不同城市，边缘端将采集到的数据或消息发送给云端，云端对数据或消息进行集中管理和消费。

边缘集群通常会采用扩缩容的方案，在闲时缩容以节约资源；忙时扩容以提高消息的吞吐量；而大规模边缘集群扩缩容的频次更高。但是在扩缩容时，难以保证消息处理的时序性，导致无法扩缩容后，无法平滑消费消息，甚至导致数据的错乱。

发明内容

针对现有技术中存在的上述技术问题，本发明提供一种大规模边缘集群管理方法和系统，在扩缩容时，通过传输流的主管道进行消息的消费，副管道对消息进行缓存，实现消息消费的时序性，达到平滑扩缩容。

本发明公开了一种大规模边缘集群的管理方法，所述管理方法包括消息消费的方法：将边缘节点映射到第一传输流上，所述边缘节点通过第一传输流的第一主管道消费第一消息；将所述边缘节点映射到第二传输流上；所述边缘节点的第二消息传递到第二传输流的第二副管道；若第一传输流中的第一消息是否消费完，将第二消息移到第二传输流的第二主管道进行消费。

优选的，传输流扩容的方法包括：

将所述边缘节点映射到传输流扩容获得的第二传输流上；

将所述边缘节点的第二消息传递到第二传输流的第二副管道；

判断第一传输流中的第一消息是否消费完；

若是，将第二消息移到第二传输流的第二主管道进行消费。

优选的，传输流缩容的方法包括：

若第一传输流需要释放，将所述边缘节点映射到第二传输流上；

所述边缘节点的第二消息传递到第二传输流的第二副管道；

判断第一传输流中的第一消息是否消费完；

若消费完，将第二消息移到第二传输流的第二主管道进行消费；

判断所述第一传输流的消息是否全部消费完；

若全部消费完，释放所述第一传输流。

优选的，通过灰白名单进行消息消费的方法包括：

将边缘节点映射到第一传输流上，并将边缘节点移入到第一白名单中；

根据第一白名单，将边缘节点的第一消息移入到第一主管道；

将所述边缘节点映射到第二传输流上，同时将边缘节点移入到第二传输流的第二灰名单中，将边缘节点从第一白名单中移除；

所述第二传输流根据第二灰名单，将接收到的第二消息移入第二副管道；

第一传输流将边缘节点的第一消息消费完后，向第二传输流发出将边缘节点移入第二白名单的信息；

第二传输流根据第二白名单，将第二消息移入第二主管道进行消费。

优选的，基于网络带宽的数据发送方法：

获取当前节点的网络状态数据；

根据所述网络状态数据，预测下一时刻可用带宽的下降是否超出阀值；