[发明专利]一种深度强化图像聚类方法

权利要求书

1.一种深度强化图像聚类方法，其特征在于，包括以下步骤：

步骤1、预训练编解码网络，学习图像潜在特征；

深层自编码器网络由降噪自编码器网络堆叠而成，而降噪自编码器网络由编码层和解码层两部分组成，在训练过程中，网络随机破坏每一个降噪自编码器的输入，然后重建原始输入作为输出，以获得输入数据的潜在表示；所述降噪自编码器网络定义为如下过程：

其中，设定图像数据x作为降噪自编码器的输入；Dropout(·)作为随机映射函数将部分输入设置为0；f_e、f_d作为编码层和解码层的映射函数，θ＝{W_e,b_e,W_d,b_d}是网络模型的参数；编码层输出的潜在特征h将作为解码层的输入；同时，为保证重构图像数据x’与原始图像数据x尽可能一致，采用最小化平方损失函数的方法对模型进行优化；

将第一个降噪自编码器的编码层和解码层的激活函数设为恒等函数，而其他降噪自编码器的编码层和解码层的激活函数设为ReLu函数；各个降噪自编码器网络构建完成后，利用随机分布初始化编码层和解码层的参数，之后采用随机梯度下降反向传播的方式进行训练，然后将各个降噪自编码器的编码层和解码层拆开，依照输入输出的维度组合成一个整体的深层自编码器的模型框架；

再次采用SGD对网络模型进行训练，使得最大程度的降低重构损失，生成良好的深层自编码器网络模型，并选用其中的编码部分作为原始特征空间到潜在特征空间的映射工具f_θ＝X→H，其中，θ为输入点的参数，X为输入点的原始特征表示，H为输入点的潜在特征表示，最终获得原始图像数据的潜在特征表示H；

步骤2、初始化聚类原型，分配伯努利-逻辑斯蒂单元；

采用步骤1训练好的深层自编码器模型，生成输入点x_i的潜在特征表示h_i，构成集合H＝{h_i|h_i＝f_θ(x_i),x_i∈X,i＝1,2,...,N}，随机选取K个点构成初始原型集合然后通过K-means聚类算法在潜在特征表示H上对原型集合进行更新，以得到K个初始化后的聚类原型；

利用K-means得到的聚类原型作为聚类原型，构建伯努利-逻辑斯蒂单元BLlist＝{w,p,dw,fx}，该单元包含聚类原型在当前环境下的聚类信息，其中，w为该聚类原型在当前环境下的权重，p为该聚类原型的伯努利分布系数，dw为该原型的欧氏距离，fx为该原型的逻辑回归系数；经过K-means聚类算法获得聚类原型的初始权重，其余参数初始值设置为0值；

步骤3、强化聚类；

步骤3-1，计算输入点的潜在特征表示、聚类原型的逻辑回归参数以及伯努利分布参数，动态更新至伯努利-逻辑斯蒂单元中；

首先，随机选取输入图像潜在特征h与每个伯努利-逻辑斯蒂单元进行交互，计算输入图像潜在特征h与每个伯努利-逻辑斯蒂单元的欧氏距离s_k＝d(h,w_k)，然后利用逻辑斯蒂函数来衡量输入图像潜在特征h和各个单元所属原型间的相似性，该函数如下：

在获得当前点的概率分布后，利用辅助代价函数进行估计，计算公式如下：

p_k＝h(s_k)＝2×(1-F(s_k)) (8)

其中，p_k为该输入图像潜在特征属于某个聚类原型c_k所属聚类的概率，当该输入图像潜在特征与某单元距离越近，对应单元的概率p_k越大，反之则越小；

同时，公式(9)生成随机种子p，与逻辑回归中得到的概率进行比较，获得指示变量y，平衡各聚类原型对整个聚类结果的影响效果；其计算公式如下：

以上获得的伯努利-逻辑斯蒂分布随迭代过程动态更新至聚类原型的伯努利-逻辑斯蒂单元中，并用于迭代更新该单元所属聚类原型的权重信息；

步骤3-2，采用奖励回归策略对当前聚类环境下各聚类原型进行奖赏或惩罚，并联合伯努利-逻辑斯蒂单元内参数学习聚类损失；

在计算每个聚类原型c_k的度量值y_k后，利用奖励回归策略为每个原型分配评估决策，以动态更新输入点与各聚类原型间交互后产生的行为，在对有效聚类原型进行奖励的同时，对邻近无效区域进行惩罚操作，解决聚类算法中对全部聚类尤其是邻近区域考虑不充分的问题；具体策略方案如下：

其中，当该原型为较接近原型，也就是时，说明当前聚类原型需配以较为活跃的行动方案，也就是对其发送奖励信号，则反之，当该原型为较远原型，也就是时，说明该原型为错误原型，需对其发送惩罚信号，也就是在进行该策略的过程中，聚类原型的权重是不受影响的；

使用步骤3-1和步骤3-2，确定原型运动轨迹；

步骤4、更新权重，优化聚类原型；

采用策略梯度算法对输入点x对应的原型k的权重参数进行更新，初始更新公式如下：

其中，a＞0是学习率，r为强化过程中得到的强化信号，b_ik为强化基线；而的值为单元权重w_ik对应的特征变换度，该值受连续分布条件下概率密度函数g_ik(y_k；w_ik,h_i)的变化影响，也就是受输入图像潜在特征h_i以及权重w_ik所确定的当前原型在当前环境下指示变量y_k的影响；

根据强化聚类任务的结果，联合指示变量y_k与奖赏策略的分配结果，并对强化基线分配b_ik＝0，得最终权重更新公式如下所示：

Δw_ik＝ar_k(y_k-p_k)(-fx/(1-p_k))(w_ik-h_i) (12)

聚类原型通过公式(12)进行更新；当迭代次数达到预设最大训练次数时，完成整个聚类任务。

2.根据权利要求1所述的深度强化图像聚类方法，其特征在于，步骤1所述的K-means聚类算法的目的是通过优化以下目标函数，找寻K个聚类原型：

其中，d(c_k,h_i)是输入点h_i和聚类原型c_k间的距离，采用欧氏距离，其计算过程如下：

其中，n为输入点h_i和聚类原型c_k的维度；

首先随机从样本集中选取K个样本作为初始原型，并根据以上公式(6)计算样本与各原型的距离，将各个样本分配给其最近的聚类原型，得到初始聚类划分结果；然后更新原型，获得新的聚类划分结果；重复上述流程，直至原型不再发生改变，这时得到最终的聚类结果作为潜在特征表示的聚类原型集合