[发明专利]一种面向深度有序回归模型的生成式特征有序正则化方法

权利要求书

1.一种面向深度有序回归模型的生成式特征有序正则化方法，其特征在于，具体步骤如下：

(1)选择判别式的有序回归模型；

深度有序回归方法是基于如下判别模型：

p(Y|X)＝g(f_θ(X))； (1)

同时构造一个马尔可夫链：

X→Z＝f_θ(X)→Y； (2)

其中，X和Y均为随机变量，分别表示输入空间中的一个样本点和该样本点所对应的类别标签，f_θ(·)为特征提取网络，具体为一个参数为θ的卷积神经网络，g(·)为标签映射函数；具体地，若有N个相互独立的样本{(x₁，y₁)，(x₂，y₂)，...，(x_N，y_N)}，则标签满足：

y∈{r₁，r₂，...，r_K}，且r₁≤r₂≤…≤r_K；

可得有序回归模型的目标为学习一个从到的映射，其中，K表示有序标签的个数；

(2)从生成模型的角度来建模有序回归；

步骤(1)中的判别式有序回归模型学习到的特征表达具有较多的与有序信息无关的特征，即不能保证隐空间中特征的有序关系；将X看作是由标签Y生成的，则该生成模型表示为：

p(X，Y)＝p(Y)p(X|Y)， (3)

条件概率p(X|Y)表明，高维空间中的输入变量X与有序标签Y在隐空间中具有相同的内在维度，即一维向量；则使得隐空间中的特征向量Z具有与Y相同的维度将简化学习的目标；

将Y看作嵌入在高维流形中的X的低维表示，则Y为X的隐变量，内在维度为1；而假设隐变量Z的内在维度也为1，从而得到如下马尔科夫链：

Y→Z→X， (4)

用信息瓶颈准则来描述X和Y之间的相关信息，即互信息Y隐式地决定了X中与有序信息有关或无关的特征，则得到如下马尔可夫链：

Y→X→Z， (5)

对于一个X来说，最优的特征表达Z应捕捉到与类别Y最相关的特征，且使得对X的预测不受无关信息的影响；因此，最大化Y和Z之间的互信息，以此来保持Z中的有序信息；

(3)构建有序标签的概率分布；

将样本的特征表达进行降维，使其与有序标签的一维分布对齐；首先，将有序标签映射为一个概率分布：

这里，P_ii＝0，则有序标签被转化为一个概率，代表任意两个有序标签之间的距离,其中，y_i，y_j，y_k，y_l分别代表一个批中不同样本对应的有序标签；

(4)构建特征表示的概率分布；

与标签概率分布类似，特征表示的概率分布为：

这里，Q_ii＝0，z＝f_θ(x)，其中，z_i，z_j，z_k，z_l分别代表一个批中不同样本的特征表示；

(5)有序特征正则化；

至此，得到样本特征表达和有序标签的概率分布表示；利用KL散度来度量特征表示概率分布与标签概率分布之间的距离：

公式(8)使得特征分布与标签分布在隐空间中对齐；由于标签空间是全局有序的，基于批训练的方法可以学习到全局有序信息；

(6)构建损失函数；

使用的损失函数为：

其中，λ为超参数；表示现有深度有序回归方法中涉及的损失函数。

2.根据权利要求1所述面向深度有序回归模型的生成式特征有序正则化方法，其特征在于，特征提取网络使用VGG-16作为骨干网络。