[发明专利]用于重组深层神经网络的自我微调模型压缩方法及装置

说明书

一种用于重组一深层神经网络的自我微调模型压缩方法，包含：接收一深层神经网络模型以及一数据组，其中该深层神经网络模型包含一输入层、至少一隐藏层以及一输出层，且该深层神经网络模型的该至少一隐藏层以及该输出层包含多个神经元；依据该数据组，将该深层神经网络模型压缩成一重组模型，其中该重组模型包含一输入层、至少一隐藏层以及一输出层，且该重组模型的该至少一隐藏层以及该输出层包含多个神经元，且该重组模型的大小小于该深层神经网络模型的大小；以及在一使用者终端执行该重组模型以供一最终使用者应用制法的使用。本发明藉由压缩具有一大规模的预先训练深层神经网络模型以移除其冗余性，即可产生一具有客制化模型大小与可接受的运算复杂度的一重组模型。

技术领域

本发明关于一深层神经网络(Deep Neural Network,DNN)，尤指一种用于重组(reconfiguring)一深层神经网络模型的方法以及相关电子装置。

背景技术

在电脑视觉、影像辨识、以及语音辨识等领域的尖端技术上，大规模的深层神经网络已取得出色的成果。有赖于强大的电脑运算能力以及大量的数据与存储器储存空间，深层学习模型变得更大且更深，使得它们能更佳地从头学习。然而，对于资源有限的最终使用者诸如移动电话以及嵌入式装置，其具有较低的存储器储存空间与电脑运算能力，因而无法负荷这些模型所需要的高运算强度。此外，由于数据组有限，对于最终使用者来说从头学习是不可行的。这表示基于非常有限的数据组，最终使用者无法开发出客制化的深度学习模型。

发明内容

本发明的一目的在于提供一种用于重组一深层神经网络的自我微调模型压缩方法，以及相关电子装置。

依据本发明一实施例，本发明揭露一种用于重组一深层神经网络(Deep NeuralNetwork,DNN)的自我微调(self-tuning)模型压缩方法，包含两个部分：(1)一预先训练深层神经网络以及一数据组，其中该预先训练深层神经网络由包含多个神经元的多个堆迭层所构成，从这些堆迭层中可取出低阶、中阶以及高阶的特征图(feature map)并引导出该数据组的结果；以及(2)依据一有限的数据组，一自我微调模型压缩架构将该预先训练深层神经网络压缩成一大小较小的深层神经网络模型，其具有可接受的运算复杂度且准确度不会损耗太多。压缩后的大小较小的深层神经网络模型能用在一最终使用者应用制法上。

依据本发明一实施例，本发明揭露一种电子装置。该电子装置包含一储存装置以及一处理器，其中该储存装置是用来储存一制法码，而该处理器是用来执行该制法码。当该处理器载入并执行该制法码，该制法码指示该处理器执行以下步骤：(1)接收预先训练的一深层神经网络模型以及一数据组；以及(2)依据该数据组，以可接受的运算复杂度且可接受的准确度损耗，将该预先训练深层神经网络模型压缩成一大小较小的深层神经网络模型。

本发明藉由压缩具有一大规模的预先训练深层神经网络模型以移除其冗余性，即可产生一具有客制化模型大小与可接受的运算复杂度的一重组模型。

附图说明

图1为一三层类神经网络的示意图。

图2为依据本发明一实施例的一种用于重组一深层神经网络模型的方法的流程图。

图3为依据本发明一实施例的将该深层神经网络模型压缩成一重组模型的步骤的流程图。

图4为依据本发明一实施例的一电子装置的示意图。

附图标记：

100～类神经网络

110～输入层

120、130～隐藏层

140～输出层

D1、D2、D3～数据

121、122、123、124、131、132、141～类神经元