[发明专利]一种基于模型进行预测的方法和装置

说明书

本说明书实施例提供一种基于模型进行预测的方法和装置，其中，所述方法包括：模型运行环境接收所述机器学习模型的输入张量；模型运行环境向嵌入运行环境发送查表请求，所述查表请求中携带所述输入张量，以请求对所述输入张量进行低维转换；模型运行环境接收嵌入运行环境返回的查表结果，所述查表结果由所述嵌入运行环境根据所述输入张量进行嵌入查询和处理得到；模型运行环境将所述查表结果输入机器学习模型，并运行所述机器学习模型完成基于模型进行预测。

技术领域

本公开涉及机器学习技术领域，特别涉及一种基于模型进行预测的方法和装置。

背景技术

在人工智能中，特征工程是一个非常重要的环节。特征工程是将机器学习模型的输入数据转换为特征向量的过程，是机器学习中重要的起始步骤。而嵌入(embedding)是特征工程中的一种数据转换方法，机器学习的输入数据可能是一个高维张量，可以通过嵌入层将高维张量映射到低维的连续空间，达到特征提取的目的。通过将高维空间映射到嵌入这种低维空间，使得在大型输入(典型的是高维度稀疏张量)上的机器学习变得更加容易。

但是，嵌入层的参数量通常非常大，在某些业务场景中，所有嵌入层参数的内存总量可以达到千亿级别(比如100GB～1TB内存)。这种情况对实时在线模型的部署和预测构成很大的挑战：单台机器不能提供足够的共享内存去存储整个模型，因此需要购买定制的机器提供服务，增加了设备购置、运行和维护的成本；并且，单台机器的容量被较大的嵌入层占用，也使得模型运行不能充分发挥底层硬件资源的计算能力，造成资源浪费。

发明内容

有鉴于此，本说明书一个或多个实施例提供一种基于模型进行预测的方法和装置，以降低模型运行成本，且更好的发挥资源能力。

具体地，本说明书一个或多个实施例是通过如下技术方案实现的：

第一方面，提供一种基于模型进行预测的方法，所述方法由机器学习模型系统执行，所述系统包括：机器学习模型、以及用于对机器学习模型的输入张量进行转换的嵌入模型；所述嵌入模型和机器学习模型分开部署，嵌入模型部署在嵌入运行环境，所述机器学习模型部署在模型运行环境中；所述方法包括：

所述模型运行环境接收所述机器学习模型的输入张量；

所述模型运行环境向嵌入运行环境发送查表请求，所述查表请求中携带所述输入张量，以请求对所述输入张量进行低维转换；

所述模型运行环境接收嵌入运行环境返回的查表结果，所述查表结果由所述嵌入运行环境根据所述输入张量进行嵌入查询和处理得到；

所述模型运行环境将所述查表结果输入机器学习模型，并运行所述机器学习模型完成基于模型进行预测。

第二方面，提供一种机器学习模型系统，所述系统包括：嵌入运行环境和模型运行环境，所述嵌入运行环境中部署嵌入模型，所述模型运行环境中部署机器学习模型；

所述模型运行环境，用于接收所述机器学习模型的输入张量；并用于向嵌入运行环境发送查表请求，所述查表请求中携带所述输入张量，以请求对所述输入张量进行低维转换；还用于将所述查表结果输入机器学习模型，并运行所述机器学习模型完成基于模型进行预测；

所述嵌入运行环境，用于根据查表请求，对所述输入张量进行嵌入查询和处理得到查表结果，并将所述查表结果反馈给所述模型运行环境。

第三方面，提供一种基于模型进行预测的设备，所述设备包括存储器、处理器，以及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行指令时以实现嵌入运行环境和模型运行环境，所述嵌入运行环境用于运行嵌入模型，所述模型运行环境用于运行机器学习模型；所述处理器执行指令用于实现以下步骤：

所述模型运行环境接收所述机器学习模型的输入张量；