[发明专利]机器学习模型的部署方法、装置、电子设备及存储介质

说明书

本申请提供一种机器学习模型的部署方法、装置、电子设备及存储介质，机器学习模型的部署方法包括：获取线下训练完成的特征工程和机器学习模型；将特征工程和机器学习模型整理为pipeline形式；将pipeline形式下的特征工程和机器学习模型存储为proto文件；将proto文件部署到线上。通过将线下训练好的特征工程和机器学习模型的pipeline基于protobuf存储为proto文件，并将proto文件部署到线上，能够采用表达能力更强的编程语言对特征工程和机器学习模型的pipeline进行描述，能够支持更多的算子，确保线上线下模型预测的一致性。并且，不再依赖更多的工具库，更加轻便，能够支持大规模实时预测，以及减小模型文件的体积，避免占用过多的线上服务器的硬盘存储空间。

技术领域

本申请涉及计算机技术领域，尤其涉及一种机器学习模型的部署方法、装置、电子设备及存储介质。

背景技术

随着科技的不断发展，机器学习模型已应用到生产生活的各个方面。机器学习模型主要包括两个方面：线下建模和线上部署。线下建模，是在离线状态下，通过对原始数据利用机器学习算法进行训练，得到训练好的机器学习模型。线上部署，是将训练好的机器学习模型，部署在线上服务器，以便通过web服务的形式对模型进行调用来完成预测。

一般来说，线下建模的特征工程主要使用sklearn机器学习库，模型主要使用xgboost库、lightgbm库等。这些线下使用的机器学习库通常使用python语言。而企业内部的数据服务和模型服务通常是基于java等后端语言进行开发的。为了解决线下建模和线上部署面临的跨语言问题，可以使用PMML语言作为媒介。具体来说，提取特征工程和模型学习到的参数，并写入到PMML文件中。然后，将写好的PMML文件搬运到线上环境，在线上加载并解析PMML文件，得到模型学习到的参数来进行预测。例如：使用第三方库将机器学习模型保存为PMML-pipeline的文件，并部署在线上。然后，在线上加载该文件，并使用PMML的预测方法进行预测。

然而，PMML语言的表达能力有限，某些复杂的算法，例如复杂的自定义函数或程序中的控制流，很难通过PMML语言描述。也就是说，通过PMML语言无法完全对特征工程和模型中的复杂规则或步骤进行精准描述。即，PMML语言本身支持的算子不够多，使得线下建模的一些算法无法正常部署到线上，进而影响模型的一致性，降低部署的模型的精度，降低模型的性能。并且，由于PMML语言是基于xml的一种标记语言，xml本身的冗余也会导致模型文件较大，在表述一些较大的模型信息时，会存在模型文件占用磁盘文件过多的情况。

发明内容

本申请实施例的目的是提供一种机器学习模型的部署方法、装置、电子设备及存储介质，能够提高模型线上预测的性能，支持更多算法的线上部署，节省服务器的存储空间。

为解决上述技术问题，本申请实施例提供如下技术方案：

本申请第一方面提供一种机器学习模型的部署方法，所述方法包括：获取线下训练完成的特征工程和机器学习模型；将所述特征工程和所述机器学习模型整理为pipeline形式；将pipeline形式下的特征工程和机器学习模型存储为proto文件；将所述proto文件部署到线上。

本申请第二方面提供一种机器学习模型的部署装置，所述装置包括：存储模块，用于获取线下训练完成的特征工程和机器学习模型；将所述特征工程和所述机器学习模型整理为pipeline形式；将pipeline形式下的特征工程和机器学习模型存储为proto文件；部署模块，用于将所述proto文件部署到线上。

本申请第三方面提供一种电子设备，包括：处理器、存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行第一方面中的方法。

本申请第四方面提供一种计算机可读存储介质，包括：存储的程序；其中，在所述程序运行时控制所述存储介质所在设备执行第一方面中的方法。