[发明专利]一种轻量级微处理器AI推理框架

说明书

本发明公开一种轻量级微处理器AI推理框架，包括：首先在上位机将.h5模型量化为numpy数组并储存至数组头文件；创建算子头文件，将解析.h5模型中所使用的算子，将MicroInfer库中与.h5模型中所使用的算子适配的算子存入算子头文件；计算算子头文件所需内存空间的大小；之后，生成MicroInfer核心代码软件包对数组头文件、算子头文件进行解析与调用；最后获取用户BSP工程，根据内存空间大小分配用户BSP工程的内存大小；将MicroInfer软件包文件更新工程BSP并保存到下位机供用户在下位机进行实际开发时进行使用。本发明解决了现有技术中存在的AI模型难以部署的问题。

技术领域

本发明属于人工智能技术领域，涉及一种轻量级微处理器AI推理框架。

背景技术

将AI算法模型和深度学习框架移植到带有实时操作系统的微处理器上并不是一件容易的事，在代码移植上：需要对算法模型的大小进行估算才可以计算内存分配大小、需要根据OS的API接口去修改框架代码、需要做到编译器编译选项的统一、需要考虑各种性能优化问题等等。对于一般的嵌入式开发者或者算法研究员来说，要做到对深度学习推理框架、算法模型、目标芯片平台的底层都十分了解，才可以设计出高效稳定的AI嵌入式系统。如果有一种可以完成AI模型自动化部署的工具，则只需要在上位机用命令行指定芯片对应BSP路径和训练后AI模型的路径，就可以一键式的完成AI模型部署，并且能够发挥出芯片的最优性能，且直接编译烧录就可以运行。

发明内容

本发明的目的是提供一种轻量级微处理器AI推理框架，解决了现有技术中存在的AI模型难以部署的问题。

本发明所采用的技术方案是：

一种轻量级微处理器AI推理框架，步骤包括：

步骤1，在上位机使用量化器对称量化算法将.h5模型量化为numpy数组；

步骤2，创建数组头文件用于存储numpy数组；

步骤3，创建算子头文件，将解析.h5模型中所使用的算子，将MicroInfer库中与.h5模型中所使用的算子适配的算子存入算子头文件；

在步骤1～步骤3的过程中生成计算图并计算算子头文件所需内存空间的大小；

步骤4，生成MicroInfer核心代码软件包对数组头文件、算子头文件进行解析与调用；

步骤5获取用户BSP工程，根据计算的内存空间大小重新分配用户BSP工程的内存大小；将MicroInfer软件包文件扩充到用户BSP工程中得到更新的BSP工程并保存到下位机；

步骤6，生成模板工程代码和API调用注释供用户在下位机进行实际开发时进行使用。

本发明的特点还在于：

步骤1包括：

步骤1.1，获取用户所指定的.h5模型目录，对.h5模型目录进行解析得到权重数组和计算层的输出数据；

步骤1.2，计算.h5模型中权重数组x_f的input_dec并计算量化尺度input_scale：

input_scale＝7-input_dec (4)

步骤1.3，对.h5模型中计算层的输出数据x_o的output_dec，并计算其量化尺度output_scale用于后续做数据矫正：

output_scale＝7-out_dec (6)