|
钻瓜专利网为您找到相关结果 9476483个,建议您 升级VIP下载更多相关专利
- [发明专利]一种机器学习模型推理方法和装置-CN202210567889.6在审
-
刘帅朝;黄乐乐;张德
-
京东科技控股股份有限公司
-
2022-05-24
-
2022-08-16
-
G06N20/20
- 本发明公开了一种机器学习模型推理方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:将客户端发送的模型推理请求加入请求任务队列,由前端服务根据请求任务队列中的模型推理请求,与后端服务建立进程间通信,以将模型入参数据发送至后端服务;由后端服务启动待推理模型并通过待推理模型根据入参数据计算模型分,即推理结果,通过前端服务向客户端返回推理结果,不同的待推理模型部署在容器层的单节点中。该实施方式能够在联合建模的合作方式下,以方便、快速部署和降低运维成本为目标,实现单节点或实例下不同模型线上快速推理,实现针对不同类型的模型可以快速上线和更新、迭代,整体服务相对较为轻量级,后期的运维成本较低
- 一种机器学习模型推理方法装置
|