[发明专利]一种确定最优运算通路的方法、装置及介质

说明书

本公开提供了一种确定最优运算通路的方法、装置及介质，该方法包括：根据神经网络模型确定模型运算拓扑图，所述模型运算拓扑图包括多个运算节点；为所述模型运算拓扑图中的每个运算节点，选择与该运算节点的运算类型相同的多个算子，为每个算子创建相应的算子节点；根据所述模型运算拓扑图中各个运算节点之间的连接关系，基于所创建的算子节点构建算子拓扑图；确定每个算子节点的运算指标，基于各算子节点的运算指标对所述算子拓扑图进行加权，获得加权算子拓扑图；在所述加权算子拓扑图中选择最优运算通路。本公开可以更准确的表达相邻的不同运算节点对应的算子节点之间的链路情况，使选择出的最优运算通路更加合理。

技术领域

本公开涉及深度学习技术领域，尤其涉及一种确定最优运算通路的方法、装置及介质。

背景技术

随着数据处理技术的发展以及数据计算能力的大幅提升，深度学习技术不断取得突破性进展，进而大幅度推动了人工智能产业的进步，在多个领域取得了突破性的进展，应用较多的领域包括：医疗、语音处理、翻译、自动驾驶、广告推荐、行业预测等。

深度学习框架技术是深度学习技术的基础。近年来，各种深度学习框架层出不穷。另一方面，人工智能场景的不断丰富使终端智能设备成为人工智能的接入口。移动端的计算和存储能力已经可以满足很多人工智能应用的需求，相较于前几年深度学习技术在云端的落地，深度学习在设备端的部署需求日趋旺盛，并且伴随着机器学习技术和软硬件设备的不断发展，未来的需求会越来越丰富。为了加速深度学习在设备端的执行，各大公司也推出了各种设备端的深度学习推理框架。

大多数深度学习框架在构建神经网络链路时均采用贪婪算法，基于当前算子的数据类型、数据格式、计算单元对算子是否支持等条件，选择最合适的计算单元进行执行。在很多场景下，采用贪婪算法构建的神经网络链路并不是最优性能的神经网络链路。

发明内容

为克服相关技术中存在的问题，本公开提供了一种确定最优运算通路的方法、装置及介质。

根据本公开实施例的第一方面，提供一种确定最优运算通路的方法，包括：

根据神经网络模型确定模型运算拓扑图，所述模型运算拓扑图包括多个运算节点；

为所述模型运算拓扑图中的每个运算节点，选择与该运算节点的运算类型相同的多个算子，为每个算子创建相应的算子节点；

根据所述模型运算拓扑图中各个运算节点之间的连接关系，基于所创建的算子节点构建算子拓扑图；

确定每个算子节点的运算指标，基于各算子节点的运算指标对所述算子拓扑图进行加权，获得加权算子拓扑图；

在所述加权算子拓扑图中选择最优运算通路。

在另一实施方式中，所述确定每个算子节点的运算指标，包括：

确定算子节点的参考运算能力；

根据所述算子节点的参考运算能力、所述算子节点对应的运算节点的输入数据块和指标计算函数，计算所述算子节点的运算指标。

在另一实施方式中，所述方法还包括：确定算子的参考运算能力；

所述确定算子节点的参考运算能力，包括：将所述算子节点的相应算子的参考运算能力作为所述算子节点的参考运算能力；

所述确定算子的参考运算能力包括以下中的一种：

使用设定数据量的测试数据对算子进行运算能力测试，将测试结果作为所述算子的参考运算能力；

使用不同数据量的测试数据对算子进行运算能力测试，将各测试结果的平均值作为所述算子的参考运算能力。

在另一实施方式中，所述基于各算子节点的运算指标对所述算子拓扑图进行加权，包括以下中的一种：