[发明专利]基于张量分解的深度卷积神经网络的加速与压缩方法

摘要

本发明公开了一种基于张量分解的深度卷积神经网络的加速与压缩方法。其中，所述方法至少包括：步骤1：获取原始深度卷积神经网络；步骤2：对所述原始深度卷积神经网络中各层的权值张量进行张量分解，得到多个低秩子张量；步骤3：用所述多个低秩子张量替换所述原始深度卷积神经网络中各层的权值张量，获得新的深度卷积神经网络。通过本发明实施例，实现了大型深度卷积神经网络的加速与压缩。

主权项

1.一种基于张量分解的深度卷积神经网络的加速与压缩方法，其特征在于，所述方法至少包括：步骤1：获取原始深度卷积神经网络；其中，所述原始深度卷积神经网络中各层为卷积层，所述原始深度卷积神经网络用于图像分类，每个卷积层都有一组卷积核，该组卷积核共同组成该层的权值张量，卷积层的处理方式是使用所述卷积核对该层的输入特征图进行卷积操作，获得对应层的输出特征图；步骤2：对所述原始深度卷积神经网络中各层的权值张量进行张量分解，得到多个低秩子张量；其具体步骤为：步骤21a：设定所述低秩子张量的数目G以及所述低秩子张量分别对应于S维度和T维度的秩M、N；其中，所述G取整数；所述卷积层的卷积核权值W为S×w×h×T的四维张量，所述M小于所述S，所述N小于所述T且所述M、所述N为整数，w维度对应卷积核的宽度，h维度对应卷积核的高度，S维度对应输入的特征图的通道数，T维度对应输出的特征图的通道数；步骤22a：令W_res_1＝W；其中，所述W_res_1表示第1个残差张量；所述W表示所述卷积层的权值张量；步骤23a：令g从1到G依次取值，并按以下步骤执行：步骤23a1:根据以下公式计算第g个低秩子张量：W_g＝HOSVD(W_res_g)其中，所述W_g表示第g个低秩子张量，所述W_res_g表示第g个残差张量；所述HOSVD表示高阶奇异值分解；步骤23a2:根据以下公式计算第(g+1)个残差张量：W_res_(g+1)＝W‑(W_1+W_2+...+W_g)其中，所述W_res_(g+1)表示第(g+1)个残差张量；步骤3：用所述多个低秩子张量替换所述原始深度卷积神经网络中各层的权值张量，获得新的深度卷积神经网络；所述低秩子张量的个数为G，所述低秩子张量包括对应于所述S维度的G个因子矩阵、对应于所述T维度的G个因子矩阵及G个核心张量，其具体步骤为：步骤31a：将所述G个低秩子张量对应于所述S维度的所述G个因子矩阵按列拼接成第一因子矩阵；步骤32a：将所述G个低秩子张量对应于所述T维度的所述G个因子矩阵按行拼接成第二因子矩阵；步骤33a：将所述G个低秩子张量的所述G个核心张量按对角线的顺序依次排列形成G个核心子张量；步骤34a：将所述第一因子矩阵用维度为S×1×1×S'的卷积层替换；步骤35a：将所述G个核心子张量用一个分组为G的卷积层替换；步骤36a：将所述第二因子矩阵用T'×1×1×T的卷积层替换。