[发明专利]模型管理方法、平台、电子设备及可读存储介质在审
申请号: | 202310019783.7 | 申请日: | 2023-01-06 |
公开(公告)号: | CN116107712A | 公开(公告)日: | 2023-05-12 |
发明(设计)人: | 简仁贤;忻成杰 | 申请(专利权)人: | 竹间智能科技(上海)有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50;G06N20/00 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 莎日娜 |
地址: | 200030 上海市徐*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 模型 管理 方法 平台 电子设备 可读 存储 介质 | ||
本发明实施例提供了一种模型管理方法、平台、电子设备及可读存储介质,通过模型接入层在接收到所述上层业务系统发送的业务请求的情况下,确定业务请求对应的问题标签,作为目标问题标签;通过模型接入层基于目标问题标签以及模型管理平台中目标问题标签关联的模型的评测指标确定目标模型;通过模型调度层向模型管理平台的目标服务器中加载目标模型,以供上层业务系统使用。这样,通过将模型与问题标签进行关联,并根据评测指标选择供上层业务系统使用的模型,只需在目标问题标签关联的模型中选择目标模型进行加载,无需在模型管理平台中的所有模型中筛选目标模型,从而在模型调用过程中更加便捷且快速的确定目标模型,提高了模型选择调用的效率。
技术领域
本申请属于人工智能技术领域,具体涉及一种模型管理方法、平台、电子设备以及可读存储介质。
背景技术
近年来,随着人工智能(Artificial Intelligence,AI)技术的广泛应用,AI产品的智能化程度也受到了更多的关注。其中,模型是AI产品的核心,AI系统需要依赖多种类的算法和模型,AI系统管理平台中也就会存在大量模型。
在模型调用过程中,现有技术往往是从AI系统管理平台中管理的所有的模型中查找模型进行调用。这种方式的模型调用效率较低。
发明内容
本申请实施例的目的是提供一种模型管理方法、平台、电子设备以及可读存储介质,能够解决现有技术中在模型调用过程中效率低的问题。
第一方面,本申请实施例提供了一种模型管理方法,应用于模型管理平台,所述模型管理平台与上层业务系统连接,所述模型平台包括:模型接入层以及模型调度层;所述方法包括:
通过所述模型接入层在接收到所述上层业务系统发送的业务请求的情况下,确定所述业务请求对应的问题标签,作为目标问题标签;
通过所述模型接入层基于所述目标问题标签以及所述模型管理平台中所述目标问题标签关联的模型的评测指标确定目标模型;
通过所述模型调度层向所述模型管理平台的目标服务器中加载所述目标模型,以供所述上层业务系统使用。
可选的,所述通过所述模型调度层向所述模型管理平台的目标服务器中加载所述目标模型,包括:
通过所述模型调度层获取服务器集群中各服务器的可用内存信息、中央处理器CPU性能信息以及已加载的模型的使用信息;
通过所述模型调度层基于所述可用内存信息、所述CPU性能信息以及所述使用信息,从所述服务器集群中确定所述目标服务器;
通过所述模型调度层将所述目标模型从文件系统加载至所述目标服务器。
可选的,所述通过所述模型接入层基于所述目标问题标签以及所述模型管理平台中所述目标问题标签关联的模型的评测指标确定目标模型,包括:
通过所述模型接入层基于所述目标问题标签关联的各模型的评测指标,从所述目标问题标签关联的模型中确定运行效果符合预设要求的模型,以作为所述目标模型;关联同一问题标签的模型的评测指标中包含的指标种类相同;
其中,所述模型的评测指标用于衡量所述模型的运行效果。
可选的,所述模型管理平台还包括算法管理层;所述方法还包括:
通过所述算法管理层判断预设模型中包含的算法对应的算法类型;所述预设模型包括接入所述模型管理平台的模型;
通过所述算法管理层基于所述算法类型定义所述预设模型对应的模型输入格式和模型输出格式;
通过所述算法管理层将所述预设模型对应的模型输入格式和模型输出格式发送给所述上层业务系统,以供所述上层业务系统根据所述预设模型对应的模型输入格式和模型输出格式在所述上层业务系统中定义所述预设模型;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于竹间智能科技(上海)有限公司,未经竹间智能科技(上海)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310019783.7/2.html,转载请声明来源钻瓜专利网。