[发明专利]一种基于多层协调卷积神经网络的细粒度图像分类方法

权利要求书

1.一种基于多层协调卷积神经网络的细粒度图像分类方法，其特征在于，所述方法步骤包括：

获取图像数据集，并对图像数据集中的待分类图像进行预处理；

采用卷积神经网络提取出待分类图像的图像特征，并利用定位子网获取定位关键区域，得到待分类图像的关键区域子图；

对所述关键区域子图进行多尺度的切割填充，并随机交换各个图像块，得到多组不同尺度的切割填充子图；

对每组切割填充子图中的图像块进行位置编码，并将对应的位置编码特征图按照通道和切割填充子图连接；

依次将不同尺度的切割填充子图分别输入到预设的训练子网的第一分类模型中，得到对应类别的概率值；

将不同尺度的切割填充子图的对应类别的概率值输入到预设的训练子网的第二分类模型中，通过加权平均后，得到待分类图像的细粒度分类结果。

2.根据权利要求1所述的一种基于多层协调卷积神经网络的细粒度图像分类方法，其特征在于，所述利用定位子网获取定位关键区域，得到待分类图像的关键区域子图包括：

对提取出的图像特征按照通道求和，将得到的求和特征图进行双线性上采样，得到与待分类图像相同大小的显著图；

按照自适应阈值对显著图进行选取，得到掩码矩阵，并将掩码矩阵映射到对应的待分类图像，得到关注部分；

对关注部分进行双线性插值上采样，得到与待分类图像相同大小的关注图像即待分类图像的关键区域子图。

3.根据权利要求2所述的一种基于多层协调卷积神经网络的细粒度图像分类方法，其特征在于，所述按照自适应阈值对显著图进行选取包括根据显著图的平均值和超参数计算出自适应阈值，根据自适应阈值与显著图中对应矩阵元素的大小关系，确定出掩码矩阵，即当自适应阈值大于显著图中对应矩阵元素，则掩码矩阵中的对应矩阵元素取1，否则取0。

4.根据权利要求3所述的一种基于多层协调卷积神经网络的细粒度图像分类方法，其特征在于，所述自适应阈值的计算公式表示为：

θ＝(1-α)·avg(S(x,y))

其中，θ表示自适应阈值；α表示对关键区域的注意力的超参数，avg(S(x,y))表示显著图S(x,y)上的平均值，(x,y)表示矩阵元素。

5.根据权利要求1所述的一种基于多层协调卷积神经网络的细粒度图像分类方法，其特征在于，所述对所述关键区域子图进行多尺度的切割填充，并随机交换各个图像块，得到多组不同尺度的切割填充子图包括：

将关键区域子图分别切割成不同的N×N个子图像；

对每一种切割尺度下的每一个子图像进行0填充，得到填充后的子图像IP_n，填充后的子图像集合为I_pad{IP_n|0≤nN²}；

按照待分类图像的空间位置，将每一种切割尺度下的0填充后的子图像随机拼接成新的待分类图像；

对每一种切割尺度下的新的待分类图像进行下采样，分别得到与原始待分类图像大小相同的切割填充子图；

其中，IP_n表示对第n个子图像进行填充后的图像，n表示关键区域子图即关注图像的子图像编号，N表示图像块的边长；I_pad{·}表示填充后子图像的集合。