[发明专利]支持嵌入式平台多核并行的CNN网络推理框架设计方法

说明书

本发明属于雷达信息处理技术领域，公开了一种支持嵌入式平台多核并行的CNN网络推理框架设计方法。本发明的方法包括读取深度学习框架训练后模型文件，从中提取权值和偏置参数并用指针变量定义；将CNN网络中运算分别封装成运算核函数，进行通用编程接口设计，用于搭建CNN网络推理框架的预测函数；基于多核处理器的多线程机制，将预测函数绑定到多核处理器的核号；根据要部署CNN网络推理框架的平台类型，编写相应的VSIPL静态库；将CNN网络推理框架部署在各操作系统。采用本发明在嵌入式平台建立神经网络模型的推理框架，满足应用场景的实时处理需求，该推理框架支持多种芯片，兼容多种操作系统。

技术领域

本发明属于雷达信息处理技术领域，具体涉及一种支持嵌入式平台多核并行的CNN网络推理框架设计方法。

背景技术

在嵌入式系统DSP平台，深度学习面临的挑战主要是没有一个统一、通用的高性能推理框架。目前Google的深度学习框架tensorflow也只是在移动端CPU、GPU端适用；百度的人工智能框架PadllePaddle也不适用于DSP平台。在低成本、低能耗、计算能力有限的嵌入式系统中部署低存储、低复杂度的深度学习框架面临挑战。硬件生产厂商正在努力研发基于人工智能的专门设计芯片，在硬件上加速，同时针对嵌入式设备优化深度学习算法，针对嵌入式平台进行高性能并行计算，以及基于嵌入式平台建立深度学习框架，成为新的解决途径。目前，DSP平台缺少深度学习框架，例如神经网络算法在嵌入式DSP平台没有推理框架或者推理框架实时性不高。

发明内容

针对现有技术存在的神经网络算法在嵌入式DSP平台没有推理框架或者推理框架实时性不高的问题，本发明的一个目的在于提供一种支持嵌入式平台多核并行的CNN网络推理框架设计方法，用于建立神经网络模型在CPU和DSP等嵌入式平台的推理框架，以满足应用场景的实时处理需求，该推理框架支持多种芯片，兼容多种操作系统。

具体地说，本发明是采用以下技术方案实现的。

本发明提供一种支持嵌入式平台多核并行的CNN网络推理框架设计方法，包括：

CNN网络模型加载：读取深度学习框架训练后模型文件，从中提取权值和偏置参数，输出用指针变量定义的模型权值和偏置参数；

CNN网络函数封装：采用向量指令集、汇编语言和C语言将CNN网络中卷积运算、池化运算、激活运算和全连接运算分别封装成运算核函数，所述各运算核函数的输入是所述用指针变量定义的模型权值和偏置，输出分别是卷积层函数、池化层函数、激活函数、全连接层函数；基于VSIPL标准的基本块和视图对象设计，将封装的卷积层函数、池化层函数、激活函数、全连接层函数，包括函数参数，进行编程接口设计，统一成具有通用神经网络编程接口的运算核函数；采用所述具有通用神经网络编程接口的运算核函数搭建CNN网络推理框架的预测函数；

进行并行化设计：基于多核处理器的多线程机制，将所述CNN网络推理框架的预测函数作为线程函数，创建多个任务或多个线程，设计线程同步与通信，基于负载均衡原则对输入的测试数据集进行数据划分，通过线程绑定函数把各任务或线程绑定到多核处理器的核号；

进行跨平台设计：根据要部署CNN网络推理框架的平台类型，编写相应的VSIPL静态库；将CNN网络推理框架部署在VxWorks、Linux、Windows、SylixOS或Reworks操作系统。

进一步的，所述训练后模型文件是包含模型参数的二进制文件，由控制表头参数+数据组成；

其中，所述控制表头参数是整数，控制表头参数的第1个字是神经网络层数，第2、3、4个字表示第一层神经网络模型的权值矩阵维度，第5、6、7个字是第一层池化的维度，第8个字是第一层池化偏置的维度，第9、10、11个字是第二层池化的维度，第12个字是第二层池化偏置的维度；以此类推，直到最后一层神经网络；