[发明专利]基于视觉注意模型的压缩域敏感图像识别方法

摘要

基于视觉注意模型的压缩域敏感图像识别方法属于图像识别领域。本发明对现有的基于视觉单词的敏感图像识别方法进行改进，根据人眼视觉注意机制，建立视觉注意模型，检测出符合人主观感受的敏感区域，然后提取相关特征，生成视觉单词库，从而有效地提高了视觉单词的表征性，得到了能够准确描述图像敏感信息的特征，进而达到提高敏感图像识别准确率的目的。此外，本发明还引入了压缩域图像处理技术，利用JPEG图像压缩数据的特点，快速检测图像的敏感区域并提取其特征，有效地提高了视觉单词库构建和图像识别的速度。

主权项

基于视觉注意模型的压缩域敏感图像识别方法，其特征在于：分为两个步骤：视觉单词库构建和敏感图像识别，其中，视觉单词库构建又可细分为四个步骤：视觉注意模型建立，敏感区域检测，特征提取和聚类分析；敏感图像的识别则可细分为训练和测试两个阶段，其中训练阶段分为五个步骤：视觉注意模型建立，敏感区域检测，特征提取，视觉单词直方图建立和支持向量机分类器建立；而测试阶段也分为五个步骤，前四步与训练阶段相同，最后一步则是利用训练阶段建立的分类器对图像进行识别；当用户输入图像进行识别时，首先检测图像的敏感区域，然后提取颜色、纹理、亮度和肤色特征构建视觉单词库，并根据视觉单词库构建描述图像内容的视觉单词直方图，最后通过支持向量机分类器对图像类别进行判决，得到图像识别结果；1）.视觉单词库构架从敏感图像特点出发，运用压缩域图像处理技术，根据人眼视觉注意机制，建立视觉注意模型，检测出敏感区域，提取敏感区域的颜色、纹理、亮度和肤色压缩域特征，构建视觉单词库，具体步骤如下：1.1视觉注意模型建立利用压缩域图像处理技术进行肤色检测，利用从大量标记的肤色和非肤色图像块中提取的颜色和纹理特征，建立决策树模型，通过分析找到与肤色相关度最大的一组特征对应的规则作为最终肤色模型；随后，根据肤色判决规则计算肤色似然图，该图反映了原始图像的肤色概率分布信息，图中各点像素值越高肤色的可能性越大；接着，采用公式(1)对肤色似然图进行阈值分割，将大于阈值的图像像素点判定为肤色，反之为非肤色；然后，将肤色似然图作为颜色关注图，并从JPEG图像的压缩码流中得到图像的亮度信息计算亮度关注图，然后分别进行多尺度高斯滤波，计算中央周边差，最后进行归一化合并和线性组合得到视觉显著图，视觉显著图是一幅灰度图，图中各点像素值反映了显著度的大小，即人眼关注度的大小； I ′ ( x , y ) = 255 , if I ( x , y ) > threshold 0 , otherwise - - - ( 1 ) 式中I(x,y)是肤色似然图中各点像素值，threshold是阈值，I＇(x,y)是阈值分割后图中各点的像素值；1.2 敏感区域检测采用阈值分割的方法对视觉显著图进行初检，保留人体的躯干信息作为敏感区域，并利用该区域外接矩形，将其划分成若干个大小相同的图像块，保留包含敏感区域的块，这样就可以得到许多包含人体性器官的图像块，最后分别提取各个块内的特征，并通过聚类分析建立基于敏感区域的压缩域视觉单词库；1.3 特征提取提取敏感区域中图像块的特征，而且提取的特征能反映敏感区域的主要特点以及能够包含敏感区域各方面的信息，利用JPEG图像压缩码流中得到的亮度、颜色和纹理信息提取图像块中的颜色、纹理、亮度和肤色特征：1.3.1 颜色特征在提取敏感区域中的图像块时，首先从JPEG图像压缩码流中提取颜色信息，构建一幅缩略图，然后结合敏感区域中图像块在缩略图中的位置信息，提取了MPEG‑7中的可伸缩颜色描述子特征；整个提取过程如下：将缩略图中各个像素点由YCbCr空间转换到HSV空间，其中H表示色调(0≤H≤360°)，S表示饱和度(0≤S≤1)，V表示亮度(0≤V≤1)，然后将H分量均匀量化成16个等级，每个等级的区间宽度为22.5°，同时将V和S均匀量化为4个等级，每个等级的区间宽度为0.25，然后分别统计落在各个等级区间的像素点在图像块中出现的次数，并归一化到[0,1]，这样可以得到16×4×4=256维数据；此外，利用缩略图中像素点在YCbCr颜色空间的Y分量数据，并通过将该分量均匀量化成16个等级，每个等级的区间宽度为16，然后分别统计落在各个等级区间的像素点在图像块中出现的次数，并归一化到[0,1]，得到16维亮度数据；1.3.2纹理特征计算边缘直方图描述子作为敏感区域的纹理特征，该特征提取过程如下：首先根据传统像素域图像块边缘方向的计算方法，结合JPEG图像压缩数据的区域能量方向性，检测图像的边缘信息即纹理信息，得到一幅边缘检测图；然后根据敏感区域中图像块在边缘检测图中的位置信息，分别统计图像块中边缘方向的出现次数，提取包含5维数据的纹理特征，然后采用公式(2)将特征数据归一化到[0,1]；其中，边缘方向包含无方向、0度、45度、90度和135度5类；此外，通过计算边缘检测图中敏感区域内图像块中边缘像素点个数 与区域总的像素点个数的比值，作为描述图像块纹理复杂程度的特征； texture i ′ = texture i Σ i = 1 5 texture i - - - ( 2 ) 式中，texturei是图像块中5类边缘方向的出现次数(i=1,2,3,4,5,对应无方向、0度、45度、90度和135度5类方向)，texture＇i是归一化的结果；1.3.3肤色特征根据肤色似然图阈值分割的结果，结合敏感区域内各个图像块在阈值分割结果图中的位置，采用公式(3)和(4)提取了区域内图像块的平均肤色概率和肤色区域比例这两个特征；其中，平均肤色概率是敏感区域内图像块中在肤色似然图中各点像素值之和与块总面积比值，肤色区域比例是敏感区域内图像块在肤色似然图阈值分割结果图中肤色面积与块总面积比值； Avg = Σ x _ skin Σ y _ skin I ( x _ skin , y _ skin ) Σ x _ region Σ y _ region I ( x _ region , y _ region ) - - - ( 3 ) Ratio = Σ x _ skin Σ y _ skin I ′ ( x _ skin , y _ skin ) Σ x _ region Σ y _ region I ′ ( x _ region , y _ region ) - - - ( 4 ) 式中I(x_skin,y_skin)为肤色似然图中指定点像素值，I＇(x_skin,y_skin)为肤色似然图阈值分割得到的图像中指定点像素值，x_skin,y_skin和x_region,y_region分别为敏感区域内图像块中在肤色似然图和阈值分割结果图中各个像素点的横、纵坐标；1.4 聚类分析根据图像敏感区域内图像块中提取的颜色、纹理、亮度和肤色特征，线性组合起来建立特征数据库，然后采用k均值聚类方法进行聚类分析，并选取每类中心作为视觉单词，构建视觉单词库，其中每类聚类中心的数据维数是280，其中纹理复杂程度1维数据，肤色区域比例1维数据，平均肤色概率1维数据，边缘直方图5维数据，可伸缩颜色描述子256维数据，亮度特征16维数据；2）. 敏感图像识别根据视觉单词库对图像进行语义分析，得到描述敏感内容的视觉单词直方图，建立分类器进行敏感图像的识别，具体过程：从网络中随机下载部分 包含较多肤色信息的正常人物类图像和部分敏感图像，从这些图像中随机选取部分图像作为训练样本，其余的图像作为测试样本，建立支持向量机分类器，完成图像的识别；整个过程主要分为两个阶段：首先是训练阶段，针对训练样本从敏感图像特点出发，运用压缩域图像处理技术，根据人眼视觉注意机制，建立视觉注意模型，检测训练样本的敏感区域，然后提取敏感区域内图像块的颜色、纹理、亮度和肤色特征，并根据建立的视觉单词库，构建视觉单词直方图，最后建立支持向量机分类器，以下简称SVM (；然后是预测阶段，即对测试样本使用SVM分类器识别图像类别；在构建视觉直方图前，首先检测图像中的敏感区域，并提取敏感区域内图像块的纹理、颜色、亮度和肤色特征，然后根据视觉单词库，采用公式(5)和(6)计算词频×反文档权重系数，即TF×IDF权重系数，建立视觉单词直方图，其中视觉单词直方图的横坐标代表视觉单词个数，纵坐标代表词频×反文档权重系数；其中，TF是词频，表示某个视觉单词在图像中出现的次数与图中视觉单词总数的比值；IDF是反文档频率，可以由样本库中图像数目除以包含该视觉单词的图像的数目，再将结果取对数得到；令tfpq为视觉单词p在图像q中出现的次数，N是样本库中图像的数目，M是视觉单词数目，则p=1,…,M，q=1,…,N，dfp是包含视觉单词p的图像数目，若视觉单词没有在样本库图像出现过，除数会为零，因此在计算idfp时要将该数加1，则视觉单词p在图像q中的权重系数bpq为： b pq = tf pq × idf p - - - ( 5 ) 式中 idf p = lg ( N df p ) - - - ( 6 )