[发明专利]利用了1xK或Kx1卷积运算的CNN方法及装置

说明书

本发明涉及利用了1xK或Kx1卷积运算的CNN方法及装置，其利用为使用于满足KPI的硬件优化而提供的1xK卷积运算或Kx1卷积运算来学习CNN的参数，其特征在于，包括如下步骤：学习装置(a)使重塑层将由训练图像或对此进行加工的特征图的K个通道构成的各个组内的特征2维地级联来生成重塑特征图，使后续卷积层对重塑特征图适用1xK卷积运算或Kx1卷积运算来生成调整特征图；及(b)使输出层参照调整特征图或对此进行加工的特征图上的特征，使损失层参照来自输出层的输出和与此对应的至少一个GT来算出损失。

技术领域

本发明涉及使用于硬件优化的利用1xK或Kx1卷积运算学习CNN的参数的方法，更具体地，涉及如下的学习方法及学习装置、利用其的测试方法及测试装置：一种利用上述1xK卷积运算或上述Kx1卷积运算来学习上述CNN的上述参数的学习方法，其特征在于，其包括如下步骤：(a)当获得至少一个训练图像时，学习装置使重塑层(Reshaping Layer)将由上述训练图像或对此进行加工的特征图的所有通道中的各自对应的K个通道构成的各个组内的各个特征2维地级联(Concatenating)来生成重塑特征图(Reshaped Feature Map)，使后续(Subsequent)卷积层对上述重塑特征图适用1xK卷积运算或Kx1卷积运算来生成调整了卷(Volume)的调整特征图(Adjusted Feature Map)；及(b)上述学习装置使输出层参照上述调整特征图或对此进行加工的特征图上的特征来生成至少一个输出，使损失层参照上述输出和与此对应的至少一个GT(Ground Truth：真值)来算出至少一个损失，从而将上述损失反向传播来学习上述后续卷积层的至少一部分参数。

背景技术

深度卷积神经网络(Deep Convolutional Neural Network；Deep CNN)是在深度学习领域中发生的惊人的发展核心。CNN虽然在90年代已被用来解决文字识别问题，但它之所以能够像现在这样被广泛使用，还要归功于近年来的研究结果。这样的深度CNN在2012年的ImageNet图像分类比赛中击败其他竞争者而获得冠军。之后，卷积神经网络在机械学习(Machine Learning)领域中成为非常有用的工具。

CNN包括在图像中提取特征的特征提取器(Feature Extractor)及检测图像内的对象或参照由特征提取器提取的特征而识别图像的特征分类器(Feature Classifier)。

并且，CNN的特征提取器包括卷积层，特征分类器包括能够对特征提取器所提取的特征适用FC运算(Fully Connected Operation)的至少一个FC层。

卷积层在CNN所进行的几乎大部分的运算中占据最重要的部分。

卷积层还利用关于附近像素的信息来从局部感受野(Local Receptive Field)提取特征。但是，卷积层的过滤器的特性(Characteristic)为线性的，因此过滤器无法良好地提取非线性的特征。为了解决这样的问题，需要增加特征图的数量，而在这样的情况下，存在运算量增加的问题。

因此，为了将运算量最小化而使用能够减少特征图的次元的1x1卷积层。

1x1卷积层可从各种特征图将具备类似的性质的特征图区分开，其结果可减少特征图的数字，减少运算量。

另外，当运算量减少时，会出现神经网络更深的余地。

另外，1x1卷积层可使用于图像分割或代替FC层而使用于特征提取器等。

此时，本发明人要提出比1x1卷积层的卷积运算能够更加有效地减少卷积运算量的CNN。

发明内容

发明要解决的课题

本发明的目的在于解决上述全部问题。

本发明的另一目的在于提供一种能够有效地减少卷积运算量的CNN。