[发明专利]神经网络模型的优化方法、装置、电子设备及存储介质

说明书

本发明提供一种神经网络模型的优化方法、装置、电子设备及存储介质，所述方法包括：获取第一神经网络模型；对所述第一神经网络模型中的两个或两个以上的线性计算节点进行融合，获取所述第一神经网络模型对应的第二神经网络模型，以使所述第二神经网络模型中的线性计算节点的数量少于所述第一神经网络模型中的线性计算节点的数量。本发明实施例通过对第一神经网络模型中的线性计算节点进行融合，可以使第二神经网络模型中的线性计算节点的数量少于第一神经网络模型中的线性计算节点的数量，在对硬件资源无限制的前提下，减少神经网络模型中计算节点的个数，可以提高神经网络模型的计算性能。

技术领域

本发明涉及计算机技术领域，尤其涉及一种神经网络模型的优化方法、装置、电子设备及存储介质。

背景技术

随着人工智能和深度学习的发展，神经网络模型复杂性不断增加，计算量越来越大，神经网络模型在运算性能上面临着更大的挑战。相关技术中，通常在编译器编译神经网络阶段对神经网络模型进行优化，通过对网络节点进行融合减少节点个数或者对无相关性的节点进行最大程度的并行，从而实现运算性能的提高。

由于硬件计算资源的限制，相关技术中，神经网络算子的融合以及并行计算需要在满足一定计算资源的限制下进行优化，从而限制了神经网络模型的优化。

发明内容

本发明提供一种神经网络模型的优化方法、装置、电子设备及存储介质，用以解决现有技术中神经网络模型的优化方法存在限制的缺陷，实现在对硬件资源无限制的前提下，优化神经网络模型。

第一方面，本发明提供一种神经网络模型的优化，包括：

获取第一神经网络模型；

对所述第一神经网络模型中的两个或两个以上的线性计算节点进行融合，获取所述第一神经网络模型对应的第二神经网络模型，以使所述第二神经网络模型中的线性计算节点的数量少于所述第一神经网络模型中的线性计算节点的数量。

可选地，根据本发明提供的一种神经网络模型的优化方法，所述对所述第一神经网络模型中的两个或两个以上的线性计算节点进行融合，获取所述第一神经网络模型对应的第二神经网络模型，包括：

对所述第一神经网络模型进行解析，获取所述第一神经网络模型对应的中间表达信息，所述中间表达信息用于表征所述第一神经网络模型的数据结构；

基于所述中间表达信息，确定所述第一神经网络模型中所有线性计算节点对应的目标遍历顺序；

基于所述目标遍历顺序，对所述第一神经网络模型中的两个或两个以上的线性计算节点进行融合操作，获取融合后的所述中间表达信息；

基于融合后的所述中间表达信息，获取所述第二神经网络模型。

可选地，根据本发明提供的一种神经网络模型的优化方法，所述融合操作包括：

基于所述目标遍历顺序，确定两个相邻的线性计算节点；

对所述两个相邻的线性计算节点进行融合，获取所述两个相邻的线性计算节点对应的目标线性计算节点；

基于所述目标线性计算节点，更新所述目标遍历顺序以及更新所述中间表达信息。

可选地，根据本发明提供的一种神经网络模型的优化方法，所述线性计算节点包括：第一类型节点或第二类型节点：

所述第一类型节点用于根据公式y₁＝a₁·(x₁+b₁)确定所述第一类型节点的输出数据y₁，x₁表示所述第一类型节点的输入数据，a₁和b₁为所述第一类型节点的预设参数；