[发明专利]基于图像自编码的神经网络特征学习方法

权利要求书

1.基于图像自编码的神经网络特征学习方法，其特征在于：根据两个多标签数据集的分割标签，给训练数据集对应的图像打分割标签，构建一个原始图像与分割图像对应的数据集，随后对每个图像的数据集使用自编码神经网络进行压缩编码直到收敛，提取每张分割图像对应的隐含变量信息，将此隐含变量信息与原图像构造键值对；然后利用此隐含变量信息代替one-hot标签作为神经网络的训练目标利用反向传播更新神经网络权重，训练得到对应神经网络；利用对应神经网络提取测试集特征；之后将测试集特征作为每张图像对应语义特征，通过计算并比较查询图像的特征与图像库中每幅图的欧式距离，最终快速准确的检索得到查询图像的相似图像结果；

本方法的具体实现包括如下步骤：

步骤1：构造数据集

将图像数据集划分为训练集和测试集，在训练集中给每张原始图像对应的分割标签标记在图像上，构造出训练图像对应的分割图像集；

步骤2：初始化卷积神经网络权重与自编码神经网络权重

使用高斯随机初始化卷积神经网络权重和自编码神经网络权重，卷积神经网络初始化一次，自编码神经网络在训练每张分割图像对应的隐含变量后都进行高斯随机权重初始化；

步骤3：训练自编码神经网络并提取分割图像隐含变量

对每张训练图像对应的分割图像对应一个进行高斯初始化权重的自编码神经网络，将分割图像经过自编码模型进行前向传播得到重构后的分割图像，然后经过该网络计算后得到的损失用反向传播算法调整网络权重，同时对所有全连接层参数都进行学习更新，迭代至收敛后得到训练后的自编码神经网络模型；最后将对应的分割图像进行前向传输得到自编码神经网络中间隐层的隐含变量

步骤4：归一化隐含变量

对步骤3中取得的隐含变量进行归一化，从而将隐含变量的每一位都映射到[0,1]之间的实数上，得到经过归一化的隐含变量

步骤5：训练卷积神经网络

根据训练集图像库与步骤4得到的训练图像对应的归一化隐含变量，训练深度卷积神经网络模型；将训练集中原始图像输入卷积神经网络，并将步骤4得到的归一化隐含变量视为该训练集训练目标；经过卷积神经网络计算后得到损失后使用反向传播算法调整整个神经网络权重，同时对所有层参数进行学习更新，迭代至收敛后得到训练后的深度神经网络模型；

步骤6：提取特征向量并计算欧氏距离

从步骤5中得到训练完毕的深度神经网络模型后，将测试样本集中的每张图像分别作为深度神经网络的输入，经过前向传播得到测试样本集的特征向量矩阵Feat；随后从Feat中按顺序取出测试图像的特征向量Feat_n，并计算该特征向量与图像库中的特征向量矩阵Feat每一行之间的欧式距离，然后将欧式距离以行向量的形式组合起来得到一个欧式距离列向量；

步骤7：排序输出检索结果

将步骤6中得到的欧式距离向量的数值依照从小到大的顺序进行排序，顺序输出对应的原始图像，得到图像检索结果。

2.根据权利要求1所述的基于图像自编码的神经网络特征学习方法，其特征在于：

步骤1：构造数据集

本方法实施过程中的数据库来源于两个公开多标签标准数据集Pascal VOC2012Segmentationclass和Microsoft COCO；Pascal包含1465张训练，1449张测试，类别总数为20类的彩色图片；Microsoft COCO包含82783张训练，40504张测试，类别总数为80类的彩色图片；将图像训练集所对应的分割标签分别表示在原始图像上，其中每张图形的物体在进行分割图像标记的时候将会被标记为不同的颜色，其中相同类别物体被标记相同颜色，不同类别物体被标记为不同颜色；每张图像除主要物体之外的背景都被标记为黑色；原图像集合X＝{x₁，x₂，……，x_n}，对应的分割图像表示为每个原始训练图像样本都对应一个分割图像；

步骤2：初始化卷积神经网络权重与自编码神经网络权重

深度卷积神经网络和自编码神经网络需要使用高斯初始化：W～N(μ，σ²)；高斯分布通过下面公式计算得到.

其中μ为均值，σ为方差，设置μ的值为0，σ为0.01；卷积神经网络每层权重按照以上策略初始化一次等待进行训练，而每张由步骤1构造的原始图像对应的分割图像都对应一个唯一的自编码神经网络，每个自编码神经网络在训练每张分割图像之前都进行符合上述高斯分布权重的初始化操作以保证隐含变量的准确性；自编码神经网络的隐含变量层encode4含有h个节点，在实施过程中Pascal VOC 2012 Segmentationclass数据集设置h为5，Microsoft COCO数据集设置h为20；卷积神经网络最后一层full8层神经元个数与隐含变量节点数相同；

步骤3：训练自编码神经网络并提取分割图像隐含变量

根据步骤1构造的分割图像集和步骤2初始化的自编码神经网络，训练自编码神经网络模型；在训练过程中，将训练图像对应的分割图像输入自编码神经网络的同时，将输入图像自身当作神经网络的训练目标，进行前向传播以后得到该分割图像对应的隐含表达，然后重构此隐含表达计算神经网络损失，最后反向传播更新全部网络权重；输入分割图像到神经网络，统一将输入图像的像素值从[0,255]映射到[0,1]区间中，以便于重构计算；将每个输入的图像像素值与bi值相乘再进行重构运算，在实施过程中设置bi＝0.0039215684；自编码神经网络损失层的损失函数为：

其中N为自编码神经网络的batch_size大小，在实施过程中设置N为1，p_n是经过自编码神经网络输出的目标概率分布；是概率预测分布，等同于输入的分割图像；是使用的sigmoid函数σ(.)；通过最小化此损失函使输入分割图像与自身的交叉熵损失尽可能小，从而获得能够以最大概率重构出输入分割图像的隐含变量；待此自编码神经网络收敛后，通过前向操作得到对应分割图像对应特征向量

步骤4：归一化隐含变量

根据步骤3得到的特征向量经过归一化操作将特征向量进行归一化操作，将特征向量的值映射到[0,1]之间；使用最大最小归一化，计算公式如下：

其中为归一化前特征向量，为归一化后特征向量；所有特征向量通过此映射函数，都映射到得到训练图像对应的隐含变量集合

步骤5：训练卷积神经网络

根据步骤1得到的训练集，步骤4得到的隐含变量集合，训练由步骤2初始化的卷积神经网络模型；在训练过程中，训练集中原始图像输入卷积神经网络进行前向传播后，得到o_n，然后使用梯度下降方法学习深度卷积神经网络的各层参数，损失函数如下：

其中M为卷积神经网络的batch_size大小，在实施过程中设置M＝128，o_m是经过卷积神经网络输出的目标概率分布；是概率预测分布，即步骤4得到的归一化后的隐含变量；

步骤6：提取特征向量并计算欧氏距离

从步骤5中得到训练完毕的深度神经网络模型后，将测试样本集中的每张图像分别作为深度神经网络的输入，经过前向传播得到测试样本集的特征向量矩阵Feat；随后对测试图像库中的每幅图像做相同的操作；然后从Feat中按顺序取出测试图像的特征向量Feat_n，并计算该特征向量与图像库中的特征向量矩阵Feat每一行之间的欧式距离，然后将欧式距离以行向量的形式组合起来得到一个欧式距离列向量；

步骤7：排序输出检索结果

欧氏距离越小图像越相似，将从步骤6得到的欧氏距离向量的数值从小到大的顺序进行排序，按照顺序返回指定数量相似图像；最后根据据检索结果中每幅图像的类别标签和查询图像的类别标签是否相同，计算出查询图像对应类别的检索MAP值。