[发明专利]神经网络模型压缩的方法和计算机系统

说明书

提供了一种压缩深度神经网络的方法和计算机系统。对与深度神经网络关联的权重系数进行量化和熵编码。对经过量化和熵编码的所述权重系数进行局部平滑。通过对所述权重系数应用变分丢弃(variational dropout)来对平滑后的所述权重系数进行压缩。

相关技术

本申请要求2019年10月15日提交的第62/915,337号美国临时申请案、2019年11月22日提交的第62/939,060号美国临时申请案、及2020年9月28日提交的第17/034,739号美国申请案的优先权，所述申请以全文引用方式并入本申请。

技术领域

本公开总体涉及数据处理领域，具体涉及神经网络。

背景技术

国际标准化组织(International Organization for Standardization，ISO)/国际电工委员会(International Electrotechnical Commission，IEC)MPEG(MovingPicture Expert Group)(联合技术委员会(Joint Technical Committee，JTC)1/分技术委员会(Sub-technical Commission，SC)29/工作组(working group，WG)11)一直在积极地寻找对未来视频编解码技术标准化的潜在需要，以用于视觉分析和理解。ISO于2015年采用了用于视觉搜索的紧凑描述符(Compact Descriptors for Visual Search，CDVS)标准作为静态图像标准，其提取用于图像相似性匹配的特征表示。用于视觉分析的紧凑描述符(Compact Descriptors for Visual Analysis，CDVA)标准被列为MPEG 7的第15部分和ISO/IEC 15938-15，并且于2018年完成，其提取用于视频段的全局的和局部的、手动设计的和基于DNN的特征描述符。深度神经网络(DNN)在例如语义分类、目标检测/识别、目标跟踪、视频质量增强等各种视频应用中的成功催生了对DNN模型进行压缩的强烈需求。因此，MPEG正在积极地致力于神经网络标准(Neural Network standard，NNR)的编码表示，其对DNN模型进行编码以节省存储空间和计算资源。存在几种学习紧凑DNN模型的方法。目标是去除不重要的权重系数，假设权重系数的值越小，它们的重要性越低。

发明内容

各实施例涉及用于压缩深度神经网络模型的方法、系统和计算机可读介质。根据一个方面，提供了用于压缩深度神经网络模型的方法。该方法可以包括，对与深度神经网络相关联的权重系数进行量化和熵编码。与深度神经网络相关联的权重系数被量化和熵编码。被量化和熵编码的权重系数被局部平滑。通过对权重系数应用变分丢弃(variationaldropout)来对平滑后的权重系数进行压缩。

根据另一个方面，提供了用于压缩深度神经网络模型的计算机系统。该计算机系统可以包括至少一个处理器、至少一个计算机可读存储器、至少一个计算机可读有形存储设备，以及存储在至少一个存储设备中的至少一个存储设备上的程序指令。该程序指令用于由至少一个处理器中的至少一个处理器经由至少一个存储器中的至少一个存储器来执行，从而该计算机系统能够执行方法。该方法可以包括对与深度神经网络相关联的权重系数进行量化和熵编码。与深度神经网络相关联的权重系数被量化和熵编码。被量化和熵编码的权重系数被局部平滑。通过对权重系数应用变分丢弃来对平滑后的权重系数进行压缩。

根据又一个方面，提供了用于压缩深度神经网络模型的计算机可读介质。该计算机可读介质可以包括至少一个计算机可读存储设备以及被存储在至少一个有形存储设备中的至少一个存储设备上的可由处理器执行的程序指令。该程序指令可以由处理器执行，用于执行方法，相应地，该方法包括对与深度神经网络相关联的权重系数进行量化和熵编码。与深度神经网络相关联的权重系数被量化和熵编码。被量化和熵编码的权重系数被局部平滑。通过对权重系数应用变分丢弃来对平滑后的权重系数进行压缩。

附图说明