[发明专利]一种跨平台模型推理的方法、系统、存储介质及设备

权利要求书

1.一种跨平台模型推理的方法，其特征在于，包括以下步骤：

在深度学习编译框架的目标后端模块中添加部署芯片作为标记后端；

将所述部署芯片的运行时库和机器学习库置入所述深度学习编译框架，以在所述深度学习编译框架上实现所述部署芯片的功能函数并建立所述标记后端对应的算子仓库；

由所述深度学习编译框架解析模型文件生成所述深度学习编译框架中的计算图表示；

响应于目标后端设置为所述标记后端，从所述算子仓库中查找所述计算图中各个算子的实现，所述深度学习编译框架将对应的所述各个算子的实现以及对应的所述功能函数生成动态链接库；

在部署芯片上加载所述动态链接库以执行模型推理。

2.根据权利要求1所述的方法，其特征在于，所述将所述部署芯片的运行时库和机器学习库置入所述深度学习编译框架，以在所述深度学习编译框架上实现所述部署芯片的功能函数并建立所述标记后端对应的算子仓库进一步包括：

在所述深度学习编译框架的运行时模块引入所述部署芯片的运行时库，用于实现所述部署芯片的功能函数；

在所述深度学习编译框架的计算图模块引入所述部署芯片的机器学习库，用于通过所述机器学习库的库函数的调用实现计算图中的各个算子，从而建立所述标记后端对应的算子仓库。

3.根据权利要求2所述的方法，其特征在于，所述在所述深度学习编译框架的计算图模块引入所述部署芯片的机器学习库，用于通过所述机器学习库的库函数的调用实现计算图中的各个算子，从而建立所述标记后端对应的算子仓库进一步包括：

设置所述部署芯片上计算所需的数据类型、数据布局、张量描述符、算子描述符、以及调用对应的算子接口。

4.根据权利要求1所述的方法，其特征在于，所述功能函数包括用于实现部署芯片的内存分配/释放、数据拷贝、队列同步的功能函数。

5.根据权利要求1所述的方法，其特征在于，所述在深度学习编译框架的目标后端模块中添加部署芯片作为标记后端进一步包括：

为所述部署芯片命名为标记后端；

在所述深度学习编译框架的目标类中定义所述标记后端的成员方法；

在所述深度学习编译框架的runtime ctypes中添加所述标记后端的掩码；

在所述深度学习编译框架的runtime ndarray中添加关于所述标记后端的声明。

6.根据权利要求5所述的方法，其特征在于，所述在深度学习编译框架的目标后端模块中添加部署芯片作为标记后端进一步包括：

在设备类型结构体DLDeviceType中添加所述标记后端；

在设备名定义函数DeviceName中添加所述标记后端作为新设备；

在函数RuntimeEnabled中添加对所述新设备的支持；

在目标设备类型TargetKind中注册所述新设备。

7.根据权利要求1所述的方法，其特征在于，所述动态链接库中包含在部署芯片上运行的推理代码，所述推理代码包括所述各个算子的实现以及对应的所述功能函数。

8.一种跨平台模型推理的系统，其特征在于，包括：

目标后端标记模块，所述目标后端标记模块配置为在深度学习编译框架的目标后端模块中添加部署芯片作为标记后端；

函数算子置入模块，所述函数算子置入模块配置为将所述部署芯片的运行时库和机器学习库置入所述深度学习编译框架，以在所述深度学习编译框架上实现所述部署芯片的功能函数并建立所述标记后端对应的算子仓库；

解析生成计算模块，所述解析生成计算模块配置为由所述深度学习编译框架解析模型文件生成所述深度学习编译框架中的计算图表示；

目标后端响应模块，所述目标后端响应模块配置为响应于目标后端设置为所述标记后端，从所述算子仓库中查找所述计算图中各个算子的实现，所述深度学习编译框架将对应的所述各个算子的实现以及对应的所述功能函数生成动态链接库；

模型推理执行模块，所述模型推理执行模块配置为在部署芯片上加载所述动态链接库以执行模型推理。