[发明专利]一种轻量级微处理器AI推理框架

权利要求书

1.一种轻量级微处理器AI推理框架，其特征在于，步骤包括：

步骤1，在上位机使用量化器对称量化算法将.h5模型量化为numpy数组；

步骤2，创建数组头文件用于存储numpy数组；

步骤3，创建算子头文件，将解析.h5模型中所使用的算子，将MicroInfer库中与.h5模型中所使用的算子适配的算子存入算子头文件；

在步骤1～步骤3的过程中生成计算图并计算算子头文件在下位机上部署所需内存空间的大小；

步骤4，生成MicroInfer核心代码软件包对数组头文件、算子头文件进行解析与调用；

步骤5获取用户BSP工程，根据计算的内存空间大小重新分配用户BSP工程的内存大小；将MicroInfer软件包文件扩充到用户BSP工程中得到更新的BSP工程并保存到下位机；

步骤6，生成模板工程代码和API调用注释供用户在下位机进行实际开发时进行使用。

2.如权利要求1所述的一种轻量级微处理器AI推理框架，其特征在于，步骤1包括：

步骤1.1，获取用户所指定的.h5模型目录，对.h5模型目录进行解析得到权重数组和计算层的输出数据；

步骤1.2，计算.h5模型中权重数组x_f的input_dec并计算量化尺度input_scale：

input_scale＝7-input_dec (4)

步骤1.3，对.h5模型中计算层的输出数据x_o的output_dec，并计算其量化尺度output_scale用于后续做数据矫正：

output_scale＝7-out_dec (6)

其中x_o为.h5模型中计算层的输出数据，out_dec为对x_o取2为底的对数；

步骤1.4，对乘法因子进行矩阵转秩计算得到乘法因子的量化尺度kernel_scale；

步骤1.5，计算每一层的左移参数layer_RSHIFT和右移参数layer_LSHIFT，用于计算过程中的数据修正：

layer_RSHIFT＝input_scale+kernel_scale-output_scale (7)

layer_LSHIFT＝input_scale+kernel_scale-bias_scale (8)

其中kernel_scale表示乘法因子的量化尺度，input_scale表示.h5模型中权重数组的输入量化尺度，output_scale表示.h5模型中输出数据的量化尺度，bias_scale表示偏置项的量化尺度；

步骤1.6，采用以下公式完成量化输出值的计算：

y_q＝round(∑x_q×w_q+b_q＜＜layer_LSHIFT)＞＞layer_RSHIFT (9)

其中round表示向下取整运算，x_q表示量化后的层输入参数，w_q表示经过转秩和量化后的乘积因子，b_q表示量化后的偏执项，y_q表示量化后的numpy数组。

3.如权利要求1所述的一种轻量级微处理器AI推理框架，其特征在于，步骤3包括：利用tensorflow所提供的model.layer方法，遍历所需处理的.h5模型获取.h5模型中所用到的算子；利用open()函数创建算子头文件，若获取.h5模型中所用到的算子已被MicroInfer适配，则利用fp.write()函数写入算子头文件中。