[发明专利]一种人工智能模型动态加载的集群设计方法及集群系统

摘要

本发明涉及一种人工智能模型动态加载的集群设计方法，属于人工智能领域。该方法设计一种模型及服务发现机制，通过分布式自动加载模型的服务器部署架构设计，使得神经网络模型在服务集群中实现自动部署。本发明中的模型部署架构可以使得神经网络模型在服务集群中的部署实现全自动化、高并发、高可用、资源自动调配，从而使得服务器资源得到最大程度利用，极大地减小计算、内存资源的浪费。

主权项

1.一种人工智能模型动态加载的集群设计方法，其特征在于，该方法设计一种模型及服务发现机制，通过分布式自动加载模型的服务器部署架构设计，使得神经网络模型在服务集群中实现自动部署，该方法处理环节：/n模型发现服务，在模型发现服务中设有第一字典，该第一字典中包含当前服务器和已部署的模型对应关系，当用户在前台页面一键点击部署某个新模型时，模型发现服务收到指令，通过计算服务器在历史时段中的服务器压力情况及内存占用情况，自动将新模型在低压力服务器上执行部署；/n机器发现服务，在机器发现服务中保存有第二字典，该第二字典中包含当前在线服务器状态，每隔10秒遍历检查服务集群中每台服务器状态，并更新该第二字典，当发现新服务器加入当前服务集群时，通过获取最高频使用的模型，在内存不超出的情况下，加载到低压力的服务器中；/n设计服务健康检查机制，该服务监控检查机制通过所述的机器发现服务每10秒的状态检查，若发现宕机或任务卡死的现象，根据实际情况选择发送报警信息或自动重启服务；/n在服务健康检查期间，同时分析每台服务器中每个字段的压力情况，若发现某个字段大量积压任务导致服务集群中个别服务器压力过大，则将自动寻找空闲服务器加载该模型，并在高压力服务器上卸载该模型，并将任务退回消息队列进行重新分发；/n使用消息队列作为预测任务传播媒介，使用消息队列作为分发任务的传输媒介，使得不同模型的预测任务分开存储进不同的队列，当某个模型的预测任务队列过于拥堵时，所述的模型发现服务将自动选择空闲服务器加载该模型。/n