[发明专利]一种基于相关双自编码器在零次学习上的运用方法

权利要求书

1.一种基于相关双自编码器在零次学习上的运用方法，其特征在于包括如下步骤：

步骤(1)获取编码后的视觉特征；

步骤(2)获取优化后的语义特征；

步骤(3)将优化后的语义特征映射到视觉特征；

其中步骤(2)通过如下过程实现：

步骤A对语义特征建立自编码器，将步骤(1)中得到的编码后的视觉特征加到编码后的语义特征上，然后再对这个相加后的语义特征进行解码；步骤B将这个解码后得到的语义特征与原语义特征相加获得更好更完整的语义特征；

步骤(1)具体实现如下：

通过一个自编码器对视觉特征进行处理，得到编码后的特征V_e；公式表达为：

V_e＝σ(VW₁+b₁)

其中，V_e表示的是视觉特征编码后的特征，V表示的是原始视觉特征，σ表示的是Relu激活函数；W₁是模型需要训练的参数矩阵；b₁是模型需要训练的偏置参数；

解码过程用下面的公式来表示：

V_d＝σ(V_eW₂+b₂)

其中，V_d表示的是V_e解码重建后的视觉特征，W₂是模型需要训练的参数矩阵；b₂是模型需要训练的偏置参数；

步骤A具体为：

先对语义特征进行编码：

A_e＝σ(AW₃+b₃)

A_e表示的是语义特征编码后的属性特征，A表示的是原始的语义特征，σ表示的是Relu激活函数；W₃是模型需要训练的参数矩阵；b₃是模型需要训练的偏置参数；

然后将得到的编码后的视觉特征V_e进行映射得到V_ae，V_ae的维度与编码后的属性特征A_e的维度一样；映射过程中使用两个由全连接层+Relu激活函数层组成的结构，用公式表示如下：

B＝σ(V_eW₄+b₄)

V_ae＝σ(BW₅+b₅)

其中B是V_e第一个Relu+FC块得到的值，V_ae是V_e映射得到的最终值；W₄和W₅和是模型需要训练的参数矩阵；b₄和b₅是模型需要训练的偏置参数；然后将得到的V_ae与编码后的属性特征A_e相加，得到一个新的属性特征A′_e，这个新的属性特征A′_e受到了视觉特征的影响，包含更多的信息；σ表示的是Relu激活函数；

A′_e＝A_e+V_ae

解码的过程用下面的公式来表示：

A_d＝σ(A′_eW₆+b₆)

其中A_a表示的是重建后的属性特征，W₆是模型需要训练的参数矩阵；b₆是模型需要训练的偏置参数；

步骤B具体为：将原始的语义特征与解码后的语义特征相加得到了优化后的语义特征；

A_all＝A+A_d

A_all表示优化后的语义特征；

步骤(3)具体为：将步骤(2)得到的优化后的语义特征通过两个由全连接层+Relu激活函数层组成的结构映射到视觉特征空间，映射关系公式表示如下：

C＝σ(A_allW₇+b₇)

V_all＝σ(CW₈+b₈)

其中，C是A_all第一个Relu+FC块得到的值，V_all是A_all映射得到的最终值；

W₇和W₈是模型需要训练的参数矩阵；b₇和b₈是模型需要训练的偏置参数；

模型存在着三个约束条件：首先需要建立两个关于这两个自编码器的约束条件；即：

min||V-V_d||²

min||A-A_d||²

最后一个约束条件就是最终得到的优化后的语义特征映射到初始的视觉特征；即：

min||V_all-V||²

整个模型的参数在这三个约束条件的作用下建立损失函数，不断训练得到最优的训练结果。