[发明专利]提供神经网络的方法、计算装置和计算机可读存储介质

说明书

本披露公开了一种提供神经网络的方法、计算装置和计算机可读存储介质。该计算装置可以包括在组合处理装置中，该组合处理装置还可以包括接口装置和其他处理装置。该计算装置与其他处理装置进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与计算装置和其他处理装置连接，用于存储该计算装置和其他处理装置的数据。本披露的方案通过在对神经网络模型剪枝时增加通道对齐操作，解决了将剪枝压缩后的模型移植到专用硬件上可能存在的不匹配问题。

技术领域

本披露一般地涉及人工智能领域。更具体地，本披露涉及一种提供神经网络的方法、计算装置和计算机可读存储介质。

背景技术

目前，深度学习(Deep Learning)已经成为机器学习中的重要分支，也大力助推着人工智能(AI)的发展。深度学习的核心技术——深度神经网络(DNN)已在诸多行业有着广泛的应用。

为了提高神经网络模型的表达能力，DNN不断向着更深或更宽的网络规模发展。但是复杂的模型也同时带来了参数量多、计算量大的问题，导致消耗过多的存储资源和计算资源，使得产品化困难。

为了应对上述技术问题，业内产生了许多解决方法。在硬件方面，研发专用的AI芯片进行加速；在软件方面，采用模型压缩技术，去除冗余计算。在后者的模型压缩技术中，网络剪枝(pruning)是一种常用且比较有效的模型压缩方法。而网络剪枝中，普遍被采用且性价比高的方法是结构化剪枝(structural pruning)，包括滤波器剪枝(filter-wisepruning)和通道剪枝(channel-wise pruning)。

因此，在实际应用中，针对DNN模型优化的普遍方案是“软硬结合”、相互加持：先在软件层面，通过对网络的结构化剪枝进行模型压缩，再将剪枝压缩后的模型移植到AI芯片上进行推理应用。

然而，采取上述“软硬结合”方案，将剪枝压缩后的模型移植到专用AI芯片上可能存在不匹配的问题，使得难以发挥专用硬件的优势，例如专用硬件的并行计算效率、传输效率等得不到充分发挥，甚至专用硬件的运行结果可能与算法实验阶段的不一致。

发明内容

为了至少解决如上所提到的一个或多个技术问题，本披露在多个方面中提出了提供压缩神经网络的方案，该方案通过对神经网络的保留通道执行通道对齐，可以解决压缩神经网络与专用AI芯片的匹配问题，从而充分发挥专用AI芯片的各种优势。本披露提供的压缩神经网络可以应用于各种领域，诸如图像处理、语音处理、文本处理等等，这些处理例如可以包括但不限于识别和分类。

在第一方面中，本披露提供了一种用于提供神经网络的方法，其中所述神经网络包括多个层，至少一个层包括对应的通道，所述方法包括：接收所述神经网络的配置信息和通道对齐参数；基于所述配置信息和通道对齐参数，对需要执行通道对齐的层进行通道对齐，使得所述层的实际保留通道数是所述通道对齐参数的正整数倍；根据所述层的实际保留通道数，按照预定的剪枝策略对所述层进行剪枝；以及对剪枝后的所述神经网络进行压缩，以提供压缩后的神经网络。

在第二方面中，本披露提供了一种计算装置，包括：处理器，其配置用于执行程序指令；以及存储器，其配置用于存储所述程序指令，当所述程序指令由所述处理器加载并执行时，使得所述计算装置执行根据本披露第一方面任一实施例所述的方法。

在第三方面中，本披露提供了一种计算机可读存储介质，其中存储有程序指令，当所述程序指令由处理器加载并执行时，使得所述处理器执行本披露第一方面任一实施例所述的方法。

通过如上所提供的提供神经网络的方法、计算装置和计算机可读存储介质，本披露的方案通过在神经网络进行剪枝压缩时，对保留通道执行通道对齐操作，使得剪枝压缩后的神经网络可以匹配目标专用硬件(例如，专用AI芯片)，从而充分发挥专用硬件的优势，例如提高专用硬件上的并行计算效率，减少由于模型不匹配而增加的额外处理，以及尽可能保证模型在算法实验阶段和专用硬件的应用阶段的结果一致性。

附图说明