[发明专利]一种面向深度有序回归模型的生成式特征有序正则化方法

说明书

本发明属于图像分类技术领域，具体为一种面向深度有序回归模型的生成式特征有序正则化方法。本发明通过深度卷积神经网络将输入图像映射为低维特征表示，在相应的低维空间中计算批中所有样本的低维特征表示之间的距离；然后计算批中所有样本的有序标签之间的距离；将所得的批中所有样本与其他样本之间的特征表示距离向量和标签距离向量分别进行归一化；对归一化后的特征向量和标签距离向量计算散度，以此来约束在嵌入空间中特征的分布与有序标签的分布一致，即保证特征的有序性；模型最终的损失函数包括有序回归损失和该KL散度损失；本发明方法有助于提高在多种任务场景(如人脸年龄估计、医学图像分类、历史图像年代分类等)下的分类性能。

技术领域

本发明属于图像分类技术领域，具体涉及一种标签有序的图像分类方法。

背景技术

有序回归(Ordinal regression，OR)是机器学习中的一个经典问题，专门用于对具有有序标签的数据进行预测。典型应用包括人脸年龄估计，其中图像标签为人脸的年龄，从小到大；对一部电影进行打分，如从一颗星到十颗星；基于医学影像的疾病诊断等。由于标签的有序性，所以，OR是一个介于分类和回归之间的中间问题[1][2]。

在过去的几年里，深度神经网络推动了OR方法的发展[1][2][3][4][5][6],即深度有序回归方法。这些方法主要关注建模从输入数据得到的特征表示到有序标签空间的映射。例如，对有序信息进行建模的一种流行方法是将有序回归建模为多个二分类问题[1][2][3][7][8]，因为有序标签是单调分布的。一些方法对输出logits施加约束，这往往会强制模型的输出服从预定义的分布，例如二项分布、泊松分布或Beta分布[8][9]。此外，通过将有序标签转换为标签/有序分布[6][10]后，传统的分类模型可以很容易地适应深度有序回归任务。然而，经实验发现，从输入图像学习到的特征表示包含太多与有序标签无关的信息，严重损害了现有深度有序回归方法的本质目标，即学习一维有序关系。

在本发明中，为深度有序回归提出了一种新颖的生成视角。与当前深度有序回归学习从输入到特征然后到有序标签空间的映射不同，本发明的生成观点是假设输入图像可以从有序标签中生成。换句话说，在有序回归的上下文中，即使在高维空间中，输入图像也应该只有一个固有维度——有序标签信息。

因此，本发明提出了一种即插即用的特征有序正则化方法PnP-FOR用于深度有序回归，它使得深度学习模型学到的特征表示可以保留有序信息。具体来说，目标是计算嵌入空间中构造的特征概率分布与有序标签分布之间的Kullback-Leibler散度。所提出的PnP-FOR的优点是基于批训练的、易于实现并且与现有方法兼容的，而无需修改网络架构。在人脸年龄估计、医学图像分类以及历史图像年代分类三种场景下的实验结果验证了本发明所提出的PnP-FOR在与现有的深度有序回归方法相结合时的有效性。

发明内容

本发明的目的在于提出一种面向深度有序回归模型的生成式特征有序正则化方法，以提高多种标签有序场景下的图像分类任务的性能。