[发明专利]模型转换方法以及模型转换设备、存储介质

说明书

本申请公开了一种模型转换方法以及模型转换设备、存储介质，模型转换方法包括：基于网络模型中各计算节点输入端和输出端的数据块的形状，在目标平台中确定各计算节点的初始数据排布格式，并获取确定过程花费的第一耗时；依次判断相邻连接的两个计算节点的初始数据排布格式是否一致，若不一致，在相邻的两个计算节点之间添加转换算子，利用转换算子对相邻的两个计算节点的初始数据排布格式进行转换，并获取转换算子的转换耗时；最后，基于第一耗时和转换耗时的相关性，确定网络模型中所有计算节点的连接结构。通过上述方式，本申请提供模型转换方法可以通过确认网络模型中所有计算节点的连接结构，从而获得一种对目标平台来说性能最优的模型。

技术领域

本申请涉及计算机科学技术领域，特别是一种模型转换方法以及模型转换设备、存储介质。

背景技术

随着人工智能技术的不断发展，深度学习神经网络的应用也越来越广泛。神经网络模型应用通常分为训练阶段和部署阶段，训练阶段使用训练框架（如Caffe、TensorFlow）对样本数据进行学习、更新权重数据，部署阶段通常将原始模型转化为目标平台能够识别的模型，在目标平台读取所述模型的信息后，构造出推理需要运行的数据结构，之后进行网络推理并获取推理结果供进一步处理。

在部署阶段，由于硬件加速单元、架构的CPU核的限制，对模型支持的数据排布类型是不同的，且在支持多种排布格式的情况下，每个数据排布格式的性能也是有差异的。

发明内容

本申请提供一种模型转换方法以及模型转换设备、存储介质，通过确认网络模型中所有计算节点的连接结构，进而确认一种对目标平台来说网络性能最优的模型，以使该网络模型部署于目标平台时整个网络性能达到最优。

为了解决上述技术问题，本申请采用的一个技术方案是：获取网络模型中各计算节点输入端和输出端的数据块的形状，并基于各所述计算节点输入端和输出端的数据块的形状，在目标平台中确定各所述计算节点的初始数据排布格式，以及确定各所述计算节点得到所述初始数据排布格式的第一耗时；接着，依次判断相邻连接的两个计算节点的初始数据排布格式是否一致，若不一致，在所述相邻的两个计算节点之间添加转换算子，并利用所述转换算子对所述相邻的两个计算节点的初始数据排布格式进行转换，并获取所述转换算子的转换耗时；最后，基于第一耗时和转换耗时的相关性，确定所述网络模型中所有计算节点的连接结构。

其中，基于各所述计算节点输入端和输出端的数据块的形状，在目标平台中确定各所述计算节点的初始数据排布格式，包括：获取目标平台上的所有待测试数据排布格式，并基于所述所有待测试数据排布格式，对各计算节点的输入端的输入数据块以及输出端的输出数据块进行测试，得到所述目标平台支持的各计算节点的所述初始数据排布格式。

其中，基于所有待测试数据排布格式，对各计算节点的输入端的输入数据块以及输出端的输出数据块进行测试，得到各计算节点的初始数据排布格式，包括：利用各计算算子进行运算；在运算过程中，对各计算节点的输入端的输入数据块以及输出端的输出数据块按照各待测试数据排布格式进行数据排布，以得到各待测试数据排布格式对应的实时性能参数；基于各待测试数据排布格式对应的实时性能参数确定各计算节点的输入端的输入数据块以及输出端的输出数据块的初始数据排布格式。

其中，实时性能参数包括响应时间、运行速度中的至少一种；基于各待测试数据排布格式对应的实时性能参数确定各计算节点的输入端的输入数据块以及输出端的输出数据块的初始数据排布格式，包括：将对应响应时间最短或/和运行速度最快的待测试数据排布格式确定为初始数据排布格式。

其中，相邻连接的两个计算节点的前一计算节点的输出端连接转换算子的输入端，相邻连接的两个计算节点的后一计算节点的输入端连接转换算子的输出端。