[发明专利]基于先验属性图谱的图像多分类方法、装置、设备及介质

说明书

本发明公开了基于先验属性图谱的图像多分类方法、装置、设备及介质，方法包括：根据粗特征提取网络和残差属性网络对原始图像进行多尺度特征提取，得到多尺度特征；对所述多尺度特征中的低频特征图谱、高频特征图谱以及先验属性图谱进行特征融合，得到特征融合结果；根据所述特征融合结果训练得到分类模型；根据所述分类模型确定分类结果。本发明降低了对训练样本的需求并提高扩展性，可广泛应用于计算机视觉技术领域。

技术领域

本发明涉及计算机视觉技术领域，尤其是基于先验属性图谱的图像多分类方法、装置、设备及介质。

背景技术

随着深度学习领域的快速发展，图像多分类技术有着极大的应用前景。由于一般实际生产中难以提供大规模的图像训练样本，因此如何利用有限的样本得到所需要的特征进行训练，构建出合适的模型达到较高的精度是首要解决的问题。传统的基于手工标准特征提取的视觉分类检测方法不如深度学习相关方法有效。对源图像领域的有标记数据实例进行有效的权重分配，让源图像域实例分布接近目标图像域的实例分布，从而在目标领域中建立一个分类精度较高的、可靠的学习模型，可以在少样本的训练中得到灵活性高、准确率高的分类结果。本发明旨在利用有限的图像样本的结合深度卷积神经网络、权重自适应迁移学习，提出一种稳定性好、识别率高、泛化能力强的图像多分类方法。

图像分辨率指的是图像中存储的信息量，一般用“水平像素数×垂直像素数”来表示成像或显示系统对细节的分辨能力。其中分辨率的单位叫做像素每英寸(Pixels PerInch，简称PPI)，为分辨率的像素，用来表示每英寸图像内由多少个像素点。图像的大小有像素的数量决定，分辨率的高低并不等同于像素数量的多少，分辨率代表图像的单位像素密度。相同像素数量的图片，分辨率越高，图像的面积越小。通常情况下，图像的分辨率越高表示图像包含的细节越多，提供的信息量越大。处理图像分类任务可以从样本图片处理着手，对图片的处理即为对像素的操作。并且可以在对样本筛选时，筛选出高分辨率的图像，这样一来可以大大节约成本，重点处理图像的高频信息，有效提高后续实验的进程。

传统的图像分类方法通过频域滤波检测将样本图像首先变换到频域下进行处理，提取图像特征分量后再次反变换到时域，通过Blob分析获得物体对象的具体位置，在依靠帧差或者背景差的基础上进一步细化图像分类结果。步骤包括创建合适的带通滤波，将输入图像在频域中进行傅立叶变化和滤波分析，通过在频域中滤波增强轮廓，增强样本图像中的高频信息，生成具有正弦形状的带通滤波器，对样本图像的实部进行快速傅里叶变换计算和卷积计算，将图像转为傅里叶图像，最后进行傅立叶反变化转换回空间域，增强的图像轮廓通过形态学进行处理，得到物体的分类结果。LBP(Local Binary Pattern，局部二值模式)是一种用来描述图像局部纹理特征的算子，由于其的旋转不变性和灰度不变性，常用来进行纹理特征的提取。根据稀疏矩阵表示的理论基础在于图像块可以由适当的超完备字典的稀疏线性组合进行表示。基于稀疏表示的方法采用对低分辨率输入图像块进行稀疏表示，通过对提取的LBP算子的联合训练，每一个像素点都可以得到一个对应的LBP编码，采用凸优化理论方法来求解出低分辨率与LBP算子系数的映射关系。常采用LBP模式的统计直方图来表达图像的信息，而较多的模式种类将使得数据量过大，且直方图过于稀疏。因此，需要对原始的LBP模式进行降维，使得数据量减少的情况下能最好的代表图像的信息。LBP特征提取方法可以得到样本图像的LBP纹理特征向量，对噪声具有自适应鲁棒性，但是算法计算复杂量大。

近年来，深度学习在多媒体处理领域快速发展，基于神经网络的方法来完成图像处理逐渐成为主流。其中，基于卷积神经网络的方法逐渐取代传统提取图像特征的方式RCNN在图像上直接生成检测窗口并在神经网络中提取图像特征，最后使用SVM来分类提取到的特征，RCNN虽然检测效果进步大，但是效率低、速度慢。SPPNet在神经网络提取特征的基础上，创新性地提出了空间金字塔池化层，并将此操作设置在卷基层和全连阶层间，可以对图像中任意特征的提取，有效解决了计算冗余的问题，但精度会有所下降。

发明内容