[发明专利]对池化层特征优化的方法及装置

说明书

本发明涉及图像处理技术领域，具体涉及一种对池化层特征优化的方法及装置，该方法及装置应用于卷积神经网络中的池化层且用于对卷积神经网络中卷积层输出的特征进行处理，其具体为：获取卷积层输出的多维矩阵，计算该多维矩阵中每一个特征值在多维矩阵中的存在概率，根据该存在概率计算每个特征值包含的信息量，根据该信息量计算每个特征值的信息熵，进而将每个特征值与对应的信息熵进行融合得到目的特征值，该多个目的特征值组成目的多维矩阵。该目的多维矩阵将作为卷积神经网络后续网络层的输入，由于该目的多维矩阵保留了各个特征值，且对各个特征值进行了信息量和信息熵的计算，将使得后续计算或分类更加准确。

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种对池化层特征优化的方法及装置。

背景技术

近年来，深度学习技术已经在图像处理、自然语言处理等方面取得了突出的成绩，并在多个领域的工程应用上取得了较大突破。

然而再使用CNN训练网络时，在对卷积层输出的特征图进行处理时，往往会使用pooling层对特征图进行采样操作。在通过卷积之后得到的特征，我们往往希望去利用这些特征去做分类。理论上讲，我们可以用所提取到的特征去做训练分类器，例如softmax分类器，但这样做往往会陷入计算量的挑战。例如，对于一个224*224像素的图像，假设我们已经学习得到了400个定义在8x8输入的特征，每一个特征和图像卷积都会得到一个(400-8+1)*(400-8+1)＝154449维的卷积特征，由于有400个特征，所以每个样例都会得到一个393^2*400＝61779600维的卷积特征向量，学习一个超过6千万特征的分类器十分不便，并且容易出现过拟合。

为了解决这个问题，由于卷积之后的特征是因为图像具有一种平移不变性，为了描述大的图像，对不同位置的特征进行聚合，而这种聚合的操作就是池化，而计算方法一般常用的有mean-pooling(平均池化),max-pooling(最大池化)和Stochastic-pooling(随机池化)。

其中，最常用的池化手段为最大池化，但是采取最大池化方式具有多个弊端，首先卷积层其实是保留了特征的位置信息的，但是通过取唯一的最大值，现在在Pooling层只知道这个最大值是多少，但是其出现位置信息并没有保留。其次，因为max-pooling只保留一个最大值，所以即使某个特征出现多次，现在也只能看到一次，也就是说同一特征的强度信息丢失了。最后，由于每次取一个最大值，忽略了其他特征值在进行物体特征识别时的作用，易产生误差。

发明内容

本发明的目的在于提供一种对池化层特征优化的方法，以实现对卷积后的特征进行聚合，结合了不同特征之间的聚合能力，也充分使用了同一特征的强度信息，使其拥有更充分的表征能力。

本发明的另一目的在于提供一种对池化层特征优化的装置，以实现对卷积后的特征进行聚合，结合了不同特征之间的聚合能力，也充分使用了同一特征的强度信息，使其拥有更充分的表征能力。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种对池化层特征优化的方法，所述方法应用于卷积神经网络中的池化层且用于对卷积神经网络中卷积层输出的特征进行处理，所述方法包括：获取所述卷积层输出的多维矩阵；计算所述多维矩阵中每一个特征值在所述多维矩阵中的存在概率；根据所述存在概率计算每个特征值包含的信息量；根据所述信息量计算每个特征值的信息熵；将每个特征值与对应的信息熵进行融合得到目的特征值，多个所述目的特征值组成目的多维矩阵。