[发明专利]一种基于特征块折叠的非局部性卷积建模方法及装置

说明书

本发明属于图像识别技术领域，具体涉及一种基于特征块折叠的非局部性卷积建模方法及装置；该方法包括：构建FFNL模块，FFNL模块包括FF子模块、RFF子模块和NL子模块；将FFNL模块嵌入到普通卷积网络的浅层阶段，得到基于特征块折叠的非局部性卷积分类模型；获取训练数据并采用训练数据训练基于特征块折叠的非局部性卷积分类模型，得到训练好的基于特征块折叠的非局部性卷积分类模型；采用训练好的基于特征块折叠的非局部性卷积分类模型对待分类数据处理，得到分类结果；本发明可帮助卷积神经网络建立基于特征块的非局部特征学习机制，从而获得更大的有效感受野和更好的性能。

技术领域

本发明属于图像识别技术领域，具体涉及一种基于特征块折叠的非局部性卷积建模方法及装置。

背景技术

随着计算机技术、信息处理技术和视觉通信技术的高速发展，人类进入了全新的信息化时代。卷积神经网络不断推动着深度学习在图像领域的极限，但是卷积神经网络也存在一些问题，其中如何提高卷积网络的有效感受野大小是重要的问题。

由于卷积运算中的非局部连接机制，卷积神经网络并不能直接实现非局部特征学习。实际上，从传统解释来看，卷积神经网络能够在浅层中学到底层特征，并在网络深层中归纳这些底层特征为全局的语义信息。然而这个过程存在一定的缺陷，卷积神经网络不能捕捉基于特征块的跨距离依赖关系。视觉信息与自然语言存在显著的差异。自然语言是人类高度抽象的信息形式，有更少的冗余，距离越近的单词之间往往更加相关。而图像的信息则是稀疏冗余的，所谓稀疏冗余，从图像的非局部自相似先验中可以说明，即图像中大量存在的基于块的跨距离信息是相似的。不仅如此，站在特征学习的角度，有必要假设图像中大量存在跨距离的块信息是需要进行特征联系的，而不局限于相似性联系。同时，建立基于特征块的非局部性学习，不仅可以提升模型感受野，而且潜在的好处是有利于增加特征多样性和减少通道中的特征冗余。然而，在卷积神经网络中缺少基于特征块的非局部学习，人们通常只强调长距离依赖关系，使用类似non-local和空洞卷积等基于特征点的建模手段，但这些方式首先不是基于特征块的，其次是计算成本高或者效果很小。

发明内容

针对现有技术存在的不足，本发明提出了一种基于特征块折叠的非局部性卷积建模方法及装置，该方法包括：

S1：构建FFNL模块，FFNL模块包括FF子模块、RFF子模块和NL子模块；

S2：将FFNL模块嵌入到普通卷积网络的浅层阶段，得到基于特征块折叠的非局部性卷积分类模型；其中，基于特征块折叠的非局部性卷积分类模型包括前段网络、FFNL模块和后段网络；

S3：获取训练数据并采用训练数据训练基于特征块折叠的非局部性卷积分类模型，得到训练好的基于特征块折叠的非局部性卷积分类模型；

S4：采用训练好的基于特征块折叠的非局部性卷积分类模型对待分类数据处理，得到分类结果。

优选的，普通卷积网络为ResNet网络，其包括4个主干模块，FFNL模块嵌入到ResNet网络的第一个主干模块和第二个主干模块之间。

优选的，基于特征块折叠的非局部性卷积分类模型对待分类数据进行处理的过程包括：

S41：基于特征块折叠的非局部性卷积分类模型的前段网络对待分类数据进行特征提取，得到初级特征；

S42：采用FFNL模块对初级特征进行特征提取，得到次级特征；

S43：采用基于特征块折叠的非局部性卷积分类模型的后段网络对次级特征进行处理，得到分类结果。

进一步的，采用FFNL模块对初级特征进行特征提取的过程包括：

采用FF子模块将初级特征在空间维度上划分为多个特征块；将多个特征块在通道维度上进行折叠，得到折叠特征；

采用NL子模块对折叠特征进行特征学习，得到第一中间特征；