[发明专利]一种基于CPU设备的模型推理加速方法和系统

说明书

本发明实施例公开了一种基于CPU设备的模型推理加速方法，包括：将模型转换成ONNX文件并基于模型的特征处理相关算子进行自定义算子的等价替换与融合；在OpenVINO中定义自定义算子并添加自定义算子的替换方法；将ONNX文件转换成IR格式文件；在CPU设备上实现OpenVINO算子的计算流程，以编译成动态链接库；解析ONNX文件，生成推理服务器所需的模型配置文件，并将模型配置文件、IR文件和动态链接库打包成推理服务器所需的格式文件；将打包好的文件在推理服务器上部署成模型服务。本发明实施例还公开了一种基于CPU设备的模型推理加速系统。本发明显著提高了模型的推理性能和吞吐量，降低了模型的推理延迟。

技术领域

本发明涉及机器学习技术领域，具体而言，涉及一种基于CPU设备的模型推理加速方法和系统。

背景技术

推荐系统通过推荐模型来为用户提供个性化的推荐结果，而推荐结果的召回率与推荐模型的特征数量息息相关。推荐模型使用的特征越多，模型参数量越多，模型体积越大，推理耗时越长。由于CPU设备的并行计算能力及缓存大小约束了模型密集计算的吞吐量，在确保推荐模型召回率的前提下，如何对推荐模型进行推理加速，最大限度地发挥CPU设备的性能，并满足线上推理服务耗时的需求，是推理服务亟待解决的问题之一。

https://oldpan.me/archives/openvino-first-try中介绍了Openvino初探（实际体验），简述了使用OpenVINO进行人体姿态估计HNet模型的推理加速。北京交通大学硕士专业学位论文《深度目标检测模型的边缘计算方案研究》公开了使用TensorFlow进行深度目标检测，其是基于目标检测模型（CV模型）。

发明内容

为解决上述问题，本发明的目的在于提供一种基于CPU设备的模型推理加速方法和系统，显著提高了模型的推理性能，提高了模型的吞吐量，并降低了模型的推理延迟。

本发明实施例提供了一种基于CPU设备的模型推理加速方法，所述方法包括：

将模型转换成ONNX格式文件，并在转换过程中基于所述模型的特征处理相关算子进行自定义算子的等价替换与融合，得到ONNX算子，其中，所述模型是经过不同框架训练好的模型，所述ONNX算子表示所述ONNX格式文件中的自定义算子；

在OpenVINO中定义所述自定义算子并添加所述自定义算子的替换方法，以实现所述ONNX算子至OpenVINO算子的转换，其中，所述OpenVINO算子表示所述OpenVINO中的自定义算子；

将所述ONNX格式文件转换成IR格式文件，其中，所述IR格式文件包括一个xml文件和一个bin文件，所述xml文件用于定义模型拓扑结构，所述bin文件用于存储模型参数；

在CPU设备上实现所述OpenVINO算子的计算流程，以编译成动态链接库；

解析所述ONNX格式文件，生成推理服务器所需的模型配置文件，并将所述模型配置文件、所述IR格式文件和所述动态链接库打包成所述推理服务器所需的格式文件，其中，所述模型配置文件包括从所述ONNX格式文件中提取的所述模型的输入和输出信息以及编译好的所述动态链接库的路径；

将打包好的文件在所述推理服务器上部署成模型服务，以在所述推理服务器上通过各个CPU设备对所述模型进行在线推理。

作为本发明进一步的改进，所述在OpenVINO中定义所述自定义算子包括定义所述自定义算子的名称、输入的个数、输出的个数、属性、输入和输出的维度以及输入和输出的数据类型。

作为本发明进一步的改进，所述模型在特征处理时采用多种特征处理方法，所述模型在转换成ONNX格式文件后，每种特征处理方法被拆分成多个基础算子，

所述模型在特征处理时采用多种特征处理方法，所述模型在转换成ONNX格式文件后，每种特征处理方法被拆分成多个基础算子，

所述在转换过程中基于所述模型的特征处理相关算子进行自定义算子的等价替换与融合，得到ONNX算子，包括：