[发明专利]基于深度卷积特征和语义近邻的多标签图像补全方法

权利要求书

1.一种基于深度卷积特征和语义近邻的多标签图像补全方法，其特征是包括下述内容：

(1)在AlexNex通用模型基础上，改进AlexNex模型参数并设计多标签损失函数；

(2)基于K最近邻构建语义近邻模型；

(3)融合上述两个模型构建的模型构建融合深度卷积特征和语义近邻的CNN-KNN模型，将等补全社会化图像输入到CNN-KNN，模型输出候选标签集经带权无向图邻接矩阵滤噪算法过滤噪声标签，输出粗选标签集；

(4)利用CNN-KNN的多标签重要性排序算法对第3步输出的粗选标签集再次过滤噪声标签，并确定最终补全结果；

改进AlexNex模型参数并设计多标签损失函数步骤是：

步骤1：所有卷积层中卷积核的间隔与池化间隔都设置为2，同时加入一个动量项为0.9的异步随机梯度，并将网络初始的学习速率设为0.001；

步骤2：设计多标签损失函数，假设每个标签之间都是相互独立的，那么这些标签可以组成一个标签向量y∈R^1×c，其中c为图像集中标签的总数,R∈{0,1}，y_j＝1表示图像包含第j个标签，y_j＝0表示图像不包含第j个标签，通过正则化y得到图像x_i与标签j的概率设计损失函数其中n为图像数量；

构建基于KNN的语义近邻模型方法是：

针对社会化图像中存在视觉相似但语义不相同的问题，从语义上对图像特征加以区分，以提高图像的补全效果；首先，划分语义组构建语义近邻；然后，通过视觉相似度构建视觉近邻；最后，根据距离值确定各标签的贡献值，通过对贡献值排序完成标签预测；

符号定义为，图像集I＝{I₁,I₂,…,I_n}，I_i∈R^d表示图像，其中n为图像数量，d为标签数量，R为d维向量，R∈{0,1}^d；标签集W＝{w₁,w₂,…,w_m}，其中m为标签数量，w_i为标签；训练集Ω＝{(I₁,W₁),(I₂,W₂),…,(I_n,W_n)}，其中W_i为m维向量，W_i∈{0,1}^M，当W_i^j＝1时，表示图像i包含标签w_j，当W_i^j＝0时，表示图像i不含标签w_j，步骤包括：

步骤1：划分语义组构建语义近邻，将每个标签包含的所有图像看成一个语义组，所有标签对应的语义组集表示为G＝{(w₁,I₁),(w₂,I₂),…,(w_n,I_n)}，其中w_i表示标签，I_i表示与标签w_i关联的所有图像，

步骤2：将图像补全预测问题转化为求后验概率问题，定义条件概率p(I|w_i)表示标签w_i和图像I的概率关系，由概率转换公式可知，图像标签的预测值为其中p(w_i)和p(I)为先验概率；

步骤3：构建待补全图像的邻域图像集，令G_i＝(w_i,I_i)表示标签w_i对应的语义组，对于待标注图像I，从G_i中选出与图像I视觉相似度最高的k幅图像得到局部子集其中k为正整数，当所有语义组的局部子集都获取后，合并子集，最终得到待标注图像I的邻域图像集

步骤4：对贡献值排序完成标签预测，对于给定标签它与图像I构成的概率关系表示为其中表示图像I_i对于图像I的贡献值，p(w_i|I_i)∈{0,1}用于控制在图像I_i中标签需要增加的贡献值；

带权无向图的邻接矩阵滤噪方法为：

步骤1：定义候选标签间关系，标签与标签之间的关系表示为R_n×n:label×label，其中label为候选标签列表，R_n×n(c_i)＝{w₁,w₂,w₃}，其中c_i∈label，n为候选标签数量，w_i为标签来源权重的平均值，其中cnn输出权重为4，knn输出权重为3，原标注权重为3；

步骤2：确定多标签候选比，在邻接矩阵R_n×n中，对于第i个标签，在多标签中的候选比为其中H_i表示第i标签在所有标签中的候选比，w_ij表示邻接矩阵中第i个标签的权重；

步骤3：根据固定阈值过滤掉候选比小的标签，选取的标签作为候选标签，其中为固定阈值，取值为0.4；

优化多标签重要性排序算法为：

步骤1：使用数据集中图像与标签的关系，构建标签关系矩阵，对其进行非负矩阵分解，得到标签的社团关系矩阵，令W_n×k表示标签节点所属社团关系矩阵，对于第i个标签节点，多标签社团的结点贡献比表示为其中n表示标签总数，C_i表示标签对构成各个社团的支持力度，w_ij表示标签所属社团的关系矩阵中第i个标签的贡献，k表示社团个数；

步骤2：根据标签间的社团关系及各个标签的重要性程度对候选标签排序，从排序结果选择排序前5的标签作为最终标签结果。