[发明专利]一种高效的深度学习后端模型部署框架

说明书

本发明涉及人工智能模型的技术领域，特别是涉及一种高效的深度学习后端模型部署框架，以当前市面上最优的算法作为基础，以算法库文件为纽带，实现了深度学习模型由python端部署至服务器的功能，开发人员只需要根据自己的模型部署到任何服务器，降低了深度学习模型部署的难度，提高了开发人员的工作效率以及深度学习模型算法的落地能力，模型部署采用onnx文件，当模型网络结构发生变化时，只需要相应的修改onnx文件即可完成重新部署；包括算法模块、优化模块、转换模块、加速模块、算法库模块和部署模块，算法模块、优化模块、转换模块、加速模块、算法库模块和部署模块为呈金字塔结构的关系，算法模块为框架提供基础的算法。

技术领域

本发明涉及人工智能模型的技术领域，特别是涉及一种高效的深度学习后端模型部署框架。

背景技术

众所周知，近几年人工智能的飞速发展，模型也越来越大、越来越多，许多与识别、检测等相关的成套业务可以部署到服务器上，但是模型要求也越来越高，速度与精度的追求也涌现出许多优秀的方案和产品。而人工智能模型的高效运行是人工智能产品中繁琐且重要的环节，为了提高模型的效率发明了一种高效的深度学习模型部署框架，该框架使用java、C++开发并部署模型。目前在人工智能领域中，存在许多优秀的深度学习模型部署框架，如tensorflow、mxnet等，但该类的深度学习模型部署框架更多的是考虑内部使用，因此无法适用其它框架的模型；现有的深度学习模型部署框架仍处于开发和优化阶段，将其用于产品的开发可能存在隐患且不利于后期维护；且现有的模型运行效率较低。

发明内容

为解决上述技术问题，本发明提供一种融合最优算法，能够支持多框架模型训练，模型部署灵活方便，便于维护管理的高效的深度学习后端模型部署框架。

本发明的一种高效的深度学习后端模型部署框架，包括算法模块、优化模块、转换模块、加速模块、算法库模块和部署模块，算法模块、优化模块、转换模块、加速模块、算法库模块和部署模块为呈金字塔结构的关系，算法模块为框架提供基础的算法，优化模块在模型框架的基础上很少损失精度的情况下加速模型，转换模块统一模型结构，加速模块为整个深度学习模型进行第二次封装加速，算法库模块为模型与后台提供对接桥梁，部署模块用于部署模型处理数据及逻辑、向外提供请求。

本发明的一种高效的深度学习后端模型部署框架，算法模块包括卷积、池化、全连接、图像处理等算法，算法模块使用python、C++编写并训练模型作为深度学习框架的最底层，为整个深度学习框架提供算法基础。

本发明的一种高效的深度学习后端模型部署框架，优化模块根据模型大小、精度及运行速度进行模型优化。

本发明的一种高效的深度学习后端模型部署框架，转换模块根据模型训练框架编写支持onnx导出代码，统一模型文件，优化模型。

本发明的一种高效的深度学习后端模型部署框架，加速模块通过tensorRT对onnx模型文件进行包装加速。

本发明的一种高效的深度学习后端模型部署框架，算法库模块记录和实现了目前使用热门的数据处理方式，算法库模块支持java、C++端调用，同时也支持opencv预处理，优化处理后期结果。

本发明的一种高效的深度学习后端模型部署框架，部署模块负责进行算法库的调用，service部署、高并发处理、日志处理、异常处理、逻辑处理、向外扩展等。

本发明的一种高效的深度学习后端模型部署框架，整个深度学习框架以算法模块为基础，算法库模块为核心，各模块间相互独立、互不影响。