[发明专利]一种人工智能模型动态加载的集群设计方法及集群系统

说明书

本发明涉及一种人工智能模型动态加载的集群设计方法，属于人工智能领域。该方法设计一种模型及服务发现机制，通过分布式自动加载模型的服务器部署架构设计，使得神经网络模型在服务集群中实现自动部署。本发明中的模型部署架构可以使得神经网络模型在服务集群中的部署实现全自动化、高并发、高可用、资源自动调配，从而使得服务器资源得到最大程度利用，极大地减小计算、内存资源的浪费。

技术领域

本发明涉及到人工智能领域，具体地说，是涉及到基于大规模神经网络的服务集群的架构设计方式。

背景技术

深度学习的神经网络算法目前已经成为当今人工智能领域的主流算法。由于其多层、复杂的模型结构及其反向传播求导的算法特性，当下学术界最先进的模型，例如自然语言处理领域的Bert或GPT-2.0等模型都由超过10亿参数变量组成，从而导致模型大小高达数GB。

在实际的工程领域，如果在线上每次对模型进行微调或者使用模型预测都重新将模型从硬盘加载到内存，则会消耗大量时间，严重影响用户线上使用体验。而如果将全部模型持久化加载在服务器内存中，当模型数量过多时则会导致内存溢出问题。例如在一个集群中拥有多台16GB内存的服务器，要求部署20个大小在1GB-4GB不等的深度学习模型，如果采用常规做法，部署模型数量等同的机器，则会造成大量的计算资源浪费，大大增加服务器成本支出。若在单机上随机分布模型，尝试充分利用内存，又会带来的问题是：模型有其流行性，大部分客户可能只访问少部分模型，而当这几种高频使用的模型都部署在同一台机器上时，则会造成GPU或CPU的计算资源拥塞。此外，在服务上线后，如果管理员发现服务资源无法满足用户需求，意图通过增加机器来增加服务资源时，通常的做法只能通过整体重启服务并重新随机加载模型，该做法极大地影响了服务的高可用性。

发明内容

本发明的目的在于解决上述平台架构设计存在的种种不足，通过设计一种全新的模型及服务发现机制，提供一种新的分布式自动加载模型的服务器部署架构。本发明中的模型部署架构可以使得神经网络模型在服务集群中的部署实现全自动化、高并发、高可用、资源自动调配。从而使得服务器资源得到最大程度利用，极大地减小计算、内存资源的浪费。

为了达到上述发明目的，本发明专利提供的技术方案如下：

一种人工智能模型动态加载的集群设计方法，其特征在于，该方法设计一种模型及服务发现机制，通过分布式自动加载模型的服务器部署架构设计，使得神经网络模型在服务集群中实现自动部署，该方法处理环节：

模型发现服务，在模型发现服务中设有第一字典，该第一字典中包含当前服务器和已部署的模型对应关系，当用户在前台页面一键点击部署某个新模型时，模型发现服务收到指令，通过计算服务器在历史时段中的服务器压力情况及内存占用情况，自动将新模型在低压力服务器上执行部署；

机器发现服务，在机器发现服务中保存有第二字典，该第二字典中包含当前在线服务器状态，每隔10秒遍历检查服务集群中每台服务器状态，并更新该第二字典，当发现新服务器加入当前服务集群时，通过获取最高频使用的模型，在内存不超出的情况下，加载到低压力的服务器中；

设计服务健康检查机制，该服务监控检查机制通过所述的机器发现服务每10秒的状态检查，若发现宕机或任务卡死的现象，根据实际情况选择发送报警信息或自动重启服务；

在服务健康检查期间，同时分析每台服务器中每个字段的压力情况，若发现某个字段大量积压任务导致服务集群中个别服务器压力过大，则将自动寻找空闲服务器加载该模型，并在高压力服务器上卸载该模型，并将任务退回消息队列进行重新分发；

使用消息队列作为预测任务传播媒介，使用消息队列作为分发任务的传输媒介，使得不同模型的预测任务分开存储进不同的队列，当某个模型的预测任务队列过于拥堵时，所述的模型发现服务将自动选择空闲服务器加载该模型。