[发明专利]支持嵌入式平台多核并行的CNN网络推理框架设计方法

权利要求书

1.一种支持嵌入式平台多核并行的CNN网络推理框架设计方法，其特征在于，包括：

CNN网络模型加载：读取深度学习框架训练后模型文件，从中提取权值和偏置参数，输出用指针变量定义的模型权值和偏置参数；

CNN网络函数封装：采用向量指令集、汇编语言和C语言将CNN网络中卷积运算、池化运算、激活运算和全连接运算分别封装成运算核函数，所述各运算核函数的输入是所述用指针变量定义的模型权值和偏置，输出分别是卷积层函数、池化层函数、激活函数、全连接层函数；基于VSIPL标准的基本块和视图对象设计，将封装的卷积层函数、池化层函数、激活函数、全连接层函数，包括函数参数，进行编程接口设计，统一成具有通用神经网络编程接口的运算核函数；采用所述具有通用神经网络编程接口的运算核函数搭建CNN网络推理框架的预测函数；

进行并行化设计：基于多核处理器的多线程机制，将所述CNN网络推理框架的预测函数作为线程函数，创建多个任务或多个线程，设计线程同步与通信，基于负载均衡原则对输入的测试数据集进行数据划分，通过线程绑定函数把各任务或线程绑定到多核处理器的核号；

进行跨平台设计：根据要部署CNN网络推理框架的平台类型，编写相应的VSIPL静态库；将CNN网络推理框架部署在VxWorks、Linux、Windows、SylixOS或Reworks操作系统。

2.根据权利要求1所述的支持嵌入式平台多核并行的CNN网络推理框架设计方法，其特征在于，所述训练后模型文件是包含模型参数的二进制文件，由控制表头参数+数据组成；

其中，所述控制表头参数是整数，控制表头参数的第1个字是神经网络层数，第2、3、4个字表示第一层神经网络模型的权值矩阵维度，第5、6、7个字是第一层池化的维度，第8个字是第一层池化偏置的维度，第9、10、11个字是第二层池化的维度，第12个字是第二层池化偏置的维度；以此类推，直到最后一层神经网络；

所述数据是根据控制表头参数的值，依次将第一层直到最后一层神经网络模型的权值和偏置数据存储在二进制文件中的数据。

3.根据权利要求1所述的支持嵌入式平台多核并行的CNN网络推理框架设计方法，其特征在于，

所述卷积层函数进行一维卷积、二维卷积或三维卷积运算，设置卷积运算的维度、卷积核个数、卷积核大小参数；

所述池化层函数进行一维池化、二维池化或三维池化，设置池化运算的维度、池化类型、间隔、步长；

所述全连接层函数设置权值矩阵的维度；

所述激活函数设置激活函数。

4.根据权利要求1所述的支持嵌入式平台多核并行的CNN网络推理框架设计方法，其特征在于，所述基于VSIPL标准的基本块和视图对象设计，将封装的卷积层函数、池化层函数、激活函数、全连接层函数，包括函数参数，进行编程接口设计，统一成具有通用神经网络编程接口的运算核函数包括：

基于VSIPL计算中间件标准定义基本块和视图，将所述CNN网络模型加载输出的指针变量绑定为基本块，并从基本块提取数据绑定为视图，视图是矩阵或者向量；以转换后的矩阵或向量作为输入参数，调用所述运算核函数。

5.根据权利要求1所述的支持嵌入式平台多核并行的CNN网络推理框架设计方法，其特征在于，所述基于负载均衡原则对输入的测试数据集进行数据划分包括：

将输入的测试数据集平均划分为N份，N为多核处理器的核数量，创建N个任务或线程，把所述任务或线程绑定在多核处理器的N个核上以数据并行的方式执行。