[发明专利]一种安全可靠的图像分类半监督机器学习方法及装置

权利要求书

1.一种安全可靠的图像分类半监督机器学习方法，其特征在于，具体包括：

1)获取目标图像数据集，所述目标图像数据集中的部分图像数据具有标记；

2)构建验证图像数据集，所述验证图像数据集上的预测性能和安全性作为评价目标图像数据集标记质量的指标；

3)对目标数据集的未标记图像进行标记赋值；

4)根据机器学习算法以及机器学习算法对应的未标记数据赋值策略，在目标图像数据集上进行模型训练并在验证图像数据集上进行预测，得到验证图像数据集上的预测结果；

5)根据验证图像数据集上的预测性能和安全性更新未标记数据赋值策略，并重新训练模型，直到性能达到最优后结束；

对未标记图像进行赋值后根据相应的机器学习算法训练得到模型，如下所示：

其中，θ表示训练得到的模型，Θ为θ的取值空间，β表示为Θ内的任意取值，n表示训练数据的个数，k表示图像所属类别的总个数，i为训练样本的索引，j为枚举类别的取值，Q_ij表示训练样本i具有标记j的概率，l表示刻画性能的损失函数，l(x_i,j,β)表示当训练集中的第i张图像标记取值为j，模型参数为β时的损失函数取值；

验证数据为其中x_j表示为验证数据中的第j张图像，y_j表示图像x_j的类别标记，n_v表示验证数据中图像的总个数，则模型在验证数据上的损失函数值如下所示：

表示，模型的预测值和真实的标记之间的误差值；

其中，所述模型在验证数据集上的安全性，如下所示：

其中，θ₀表示底线模型，即不利用未标记数据的监督学习模型，M表示验证集的总数，表示第i个验证集；式(3)表示半监督学习模型θ和底线模型θ₀在预测性能上的差距；差距越大表示半监督学习得到的模型越安全；

根据验证集上的性能调整目标数据集中未标记图像的标记赋值策略是一个双层优化问题，如下所示：

其中内层优化为根据训练数据和标记赋值策略来训练得到模型θ，相应参数含义与(1)式相同，外层优化为通过调整标记赋值矩阵Q，最小化模型在验证数据上的损失并最大化模型的安全性，将验证数据上的损失表示为L(θ)，训练数据上的损失表示为E(θ,Q)；

当内层优化为一个凸优化问题时，将其转换为对应的KKT条件，从而将双层优化问题转换为单层优化问题，其中，KKT条件为内层优化取得最优解时的条件，如下所示：

求解此式得到θ关于Q的函数θ(Q)，将θ(Q)带入外层优化即可求得最终的目标函数关于Q的梯度进而根据梯度优化的算法来更新未标记数据的赋值策略Q从而提升模型的预测性能和安全性可靠性；优化算法流程：先设定优化的轮数T和标记赋值策略的初始值Q₀，在第k轮优化过程中，首先计算验证集上的损失函数L(θ)对Q的导数然后采用梯度优化的算法对Q进行更新，η为梯度优化算法的步长；

当内层优化为一个非凸优化问题时，采用梯度优化的方法来对内层优化问题进行求解，将其表示为一个T步的动态过程，具体如下所示：

其中θ_t表示第t步时的模型，θ_t-1表示第t-1步时的模型，η表示梯度优化算法的步长，E(θ,Q)表示模型为θ标记赋值策略为Q时训练数据上的损失，表示E(θ,Q)对θ的导数；

将该动态过程表示为θ_t＝Φ(θ_t-1,Q),其中所以目标式写为：

min_QL(θ_T)(7)

采用拉格朗日乘子法，求得目标函数对于Q的梯度，从而采用梯度优化方法进行求解；

其中，通过拉格朗日乘子法得到拉格朗日对偶式：

其中λ_t为拉格朗日乘子，式(8)对变量Q的导数为：

其中，从而采用梯度相关的优化方法来对Q进行求解；优化算法流程：首先初始化标记赋值策略Q₀，确定内层优化的轮数T和外层优化的轮数outT；在外层优化的第k轮时，首先从t＝1，…，T，计算θ_t＝Φ(θ_t-1，Q)，然后计算验证集损失对θ的导数：接着初始化验证集损失对标记赋值策略Q的导数g_Q＝0，然后从t＝T，…，1计算g_Q＝g_Q+α_t+1B_t+1，α_t＝α_t+1A_t+1，计算出g_Q后，采用梯度算法更新Q_k＝Q_k-1-ηg_Q，η为梯度优化算法的步长；

6)将最终的模型作用在目标图像数据集上的机器学习模型。