[发明专利]基于深度学习的模型压缩训练的方法、装置和设备

说明书

本申请提供一种基于深度学习的模型压缩训练的方法、装置和设备。该方法包括：在对深度学习模型进行训练的迭代过程中，当运行至目标算子时，获取目标算子的输入数据，目标算子为数据待压缩的算子；从映射关系存储文件中获取与目标算子对应的压缩参数，其中，映射关系存储文件中包括与每一目标算子对应的压缩参数；基于与目标算子对应的压缩参数，对目标算子的输入数据进行压缩，以得到压缩数据；根据压缩数据对深度学习模型进行训练。本申请的方法，有助于加快模型训练速度，同时减少计算资源消耗。

技术领域

本申请涉及深度学习技术和人工智能领域，尤其涉及一种基于深度学习的模型压缩训练的方法、装置和设备。

背景技术

随着人工智能技术的发展，深度学习模型广泛应用于图像处理、自然语言处理等领域。深度学习需要用到大量的神经网络和运算模块，基于这个需求目前有很多深度学习框架，例如PyTorch、Caffe、MXNet和TensorFlow等。深度学习框架通常是基于计算图设计的，计算图可分为静态计算图和动态计算图。静态图指先定义再运行，一次定义多次运行。动态图是在运行过程中被定义的，在运行的时候构建，可以多次构建多次运行。基于这样的功能设计思路，运算模块对应图中的一个节点，图中包含多个运算节点。由于动态图的思想直观明了，更符合人的思考过程，使用动态图设计深度学习模型的研究越来越多。

深度学习模型的压缩是指利用神经网络参数的冗余性和网络结构的冗余性来精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型对于计算资源和内存的需求更小，相比原始未压缩的模型能够满足更加广泛的应用需求。

目前，在基于深度学习的模型压缩训练过程中，当运行至可以实现数据压缩的算子时，算子内部需要完成根据输入数据计算压缩参数，然后通过计算获得的压缩参数对输入数据进行压缩处理，数据被压缩处理之后再进行算子计算以输出结果。

在模型训练的迭代过程中，每一次迭代过程中都需要计算一次压缩参数，导致模型训练的速度较慢，模型训练的过程运行在计算设备上，进而导致需要消耗计算设备的大量计算资源。

发明内容

本申请提供一种基于深度学习的模型压缩训练的方法、装置和设备，用以解决深度学习模型训练速度慢、计算资源消耗大的问题。

第一方面，本申请提供一种基于深度学习的模型压缩训练的方法，所述深度学习模型包括多个算子，所述方法包括：

在对深度学习模型进行训练的迭代过程中，当运行至目标算子时，获取所述目标算子的输入数据，所述目标算子为数据待压缩的算子；

从映射关系存储文件中获取与所述目标算子对应的压缩参数，其中，所述映射关系存储文件中包括与每一目标算子对应的压缩参数；

基于与所述目标算子对应的压缩参数，对所述目标算子的输入数据进行压缩，以得到压缩数据；

根据所述压缩数据对所述深度学习模型进行训练。

第二方面，本申请提供一种基于深度学习的模型压缩训练的装置，所述深度学习模型包括多个算子，所述装置包括：

获取单元，用于在对深度学习模型进行训练的迭代过程中，当运行至目标算子时，获取所述目标算子的输入数据；所述目标算子为数据待压缩的算子；

映射单元，用于从映射关系存储文件中获取与所述目标算子对应的压缩参数，所述映射关系存储文件中包括与每一目标算子对应的压缩参数；

压缩单元，用于基于与所述目标算子对应的压缩参数，对所述目标算子的输入数据进行压缩，以得到压缩数据；

训练单元，用于根据所述压缩数据对所述深度学习模型进行训练。

第三方面，本申请提供一种芯片，包括如上述第二方面所述的基于深度学习的模型压缩训练的装置。