[发明专利]接入方法、装置、电子设备及计算机存储介质

权利要求书

1.一种接入方法，包括：

根据目标模型中的算子表达，确定调用接入设备的计算图；

根据所述接入设备的信息，对所述计算图进行优化；

根据所述接入设备接入目标模型的模型框架的接口和所述计算图，对所述接入设备执行所述目标模型的运行相关操作，所述接入设备接入所述目标模型的模型框架的接口，是根据所述接入设备的工具包数据确定的；

所述根据所述接入设备接入目标模型的模型框架的接口和所述计算图，对所述接入设备执行所述目标模型的运行相关操作，包括：

根据所述接口，确定所述接入设备的接入方式；

根据所述接入方式和所述计算图，生成用于调用所述接入设备的指令数据；

运行所述指令数据，实现所述运行相关操作；

在所述接入方式为算子接入的情况下，所述计算图包括所述目标模型的模型框架的第一计算图；所述根据所述接入方式和所述计算图，生成用于调用所述接入设备的指令数据，包括：

将所述第一计算图映射为框架算子；

根据所述框架算子和所述接入设备的设备算子，生成所述接入设备的指令数据；

在所述接入方式为计算图接入的情况下，所述计算图包括所述目标模型的模型框架的第一计算图，以及所述接入设备的第二计算图；所述根据所述接入方式和所述计算图，生成用于调用所述接入设备的指令数据，包括：

根据所述第一计算图和预设的算子中间表示定义，生成图中间表示；

根据所述图中间表示和所述第二计算图，生成所述指令数据。

2.根据权利要求1所述的方法，其中，所述方法还包括：

根据所述工具包数据，确定所述接入设备的类型；

根据所述接入设备的类型，确定所述接入设备在模型框架中的接口。

3.根据权利要求2所述的方法，其中，所述接口为根据所述接入设备的共性，将所述接入设备在所述模型框架中对应的驱动和运行时接口经过抽象和封装生成的。

4.根据权利要求1-3中任意一项所述的方法，其中，所述根据所述接入设备的信息，对所述计算图进行优化，包括：

根据接入设备的信息，确定对所述计算图执行的优化操作以及被优化的计算图单元；

对所述被优化的计算图单元执行所述优化的操作。

5.根据权利要求1-3中任意一项所述的方法，其中，所述方法还包括：

接入所述目标模型的模型部分；

根据所述模型部分和模型框架，生成所述目标模型。

6.一种接入装置，包括：

计算图确定模块，用于根据目标模型中的算子表达，确定调用接入设备的计算图；

图优化模块，用于根据所述接入设备的信息，对所述计算图进行优化；

运行模块，用于根据所述接入设备接入目标模型的模型框架的接口和所述计算图，对所述接入设备执行所述目标模型的运行相关操作，所述接入设备接入所述目标模型的模型框架的接口，是根据所述接入设备的工具包数据确定的；

所述运行模块包括：

接入方式单元，用于根据所述接口，确定所述接入设备的接入方式；

指令数据单元，用于根据所述接入方式和所述计算图，生成用于调用所述接入设备的指令数据；

运行实现单元，用于运行所述指令数据，实现所述运行相关操作；

在所述接入方式为算子接入的情况下，所述计算图包括所述目标模型的模型框架的第一计算图；所述指令数据单元还用于：

将所述第一计算图映射为框架算子；

根据所述框架算子和所述接入设备的设备算子，生成所述接入设备的指令数据；

在所述接入方式为计算图接入的情况下，所述计算图包括所述目标模型的模型框架的第一计算图，以及所述接入设备的第二计算图；所述指令数据单元还用于：

根据所述第一计算图和预设的算子中间表示定义，生成图中间表示；

根据所述图中间表示和所述第二计算图，生成所述指令数据。