[发明专利]基于Spark分布式计算的云平台配额智能分配系统

说明书

本发明涉及一种基于Spark分布式计算的云平台配额智能分配系统，包括：数据采集模块，用于定时获取租户云资源当日使用情况和用户数、以及用户当日浏览数据；数据清洗与预处理模块，用于对所述用户当日浏览数据进行解析处理，以获取用户浏览的总次数和总时长；配额智能计算建模模块，用于根据所述租户在每个区域各个云服务使用日平均增长量以及所述用户浏览总次数和总时长预测出需要扩容的配额量；配额分配模块，用于根据所述配额量对所述租户进行扩容。本发明解决了用户因为缺少配额而创建云服务失败的情况，以及部分资源浪费的情况，大大提升了用户体验，同时提升了云平台资源使用率，减轻了运营管理员繁琐的审批复核环节。

技术领域

本发明涉及云平台运营侧配额分配技术领域，特别是涉及一种基于Spark分布式计算的云平台配额智能分配系统。

背景技术

随着云计算和大数据等科技新基建的日趋成熟，国内在信息技术应用创新背景下，以国产CPU、操作系统为底座，自主研发的兼顾计算、存储、网络的综合信创云计算平台，成为各大数据中心加速行业数字化转型，提升自主可控云建设的优选。信创云平台旨在自主可控、智能创新。传统数据中心云平台通常是运营管理员进行人工分配配额，主要依据是用户所在租户配额不足导致新建失败或用户申请云服务前发现租户配额不足以支撑资源申请，则向云平台运营管理员提出资源申请工单，通过系列审批，运营管理员核实核准后为其所在租户按需分配云服务配额。传统配额分配方案不具备实时性，通常用户申请新的云服务资源并不会先去关注所属租户的配额情况，而是直接申请，申请失败并提示配额不足时才会提工单等流程，当用户需求较为急迫时，需要不断跟进审批流程才能完成资源审批并分配。此外，存在部分用户对自身资源需求预判不足，申请大量云服务配额，然而实际使用时发现申请的配额数量远超出实际需求，造成了资源浪费。同样当运营管理员发现某些租户配额剩余较少时，因没有数据依据，避免资源浪费无法判断该租户下面的用户是否还需要云服务资源，需要哪些云服务资源，不能提前进行预分配。

发明内容

本发明提供一种基于Spark分布式计算的云平台配额智能分配系统，解决了用户因为缺少配额而创建云服务失败的情况，以及部分资源浪费的情况，大大提升了用户体验，同时提升了云平台资源使用率，减轻了运营管理员繁琐的审批复核环节。

本发明解决其技术问题所采用的技术方案是：提供一种基于Spark分布式计算的云平台配额智能分配系统，包括：

数据采集模块，用于定时获取租户云资源当日使用情况和用户数、以及用户当日浏览数据；

数据清洗与预处理模块，用于对所述用户当日浏览数据进行解析处理，以获取用户浏览的总次数和总时长；

配额智能计算建模模块，用于根据所述租户在每个区域各个云服务使用日平均增长量以及所述用户浏览总次数和总时长预测出需要扩容的配额量；

配额分配模块，用于根据所述配额量对所述租户进行扩容。

所述数据采集模块包括：

第一获取单元，用于获取最小单元VDC集；

第二获取单元，用于获取所有租户集；

第三获取单元，用于获取所有租户在所有区域的云资源配额、使用情况和用户数；

第四获取单元，用于收集每个用户当日在所述云平台点击浏览某个云服务申请页面的次数、点击时间戳，以及提交申请的点击记录，或者点击返回的点击记录和时间。

所述数据清洗与预处理模块包括：

第一处理单元，用于将用户当日浏览日志按照Key-Value读取到各个工作节点的内存中，其中，Key为String类型的“tenantId_regionId_serviceId”，Value为切分后的数据；