[发明专利]多模态变分自编码模型训练方法、系统及相关设备

权利要求书

1.一种多模态变分自编码模型训练方法，其特征在于，所述方法包括以下步骤：

获取包含多种模态的图像数据，并将每两张不同模态的图像数据进行配对，得到图像对数据集；

构建多模态变分自编码框架模型，并将所述图像对数据集作为所述多模态变分自编码框架模型的输入，对所述多模态变分自编码框架模型进行训练；

使用四元组度量损失作为所述多模态变分自编码框架模型训练的损失函数，直到损失函数收敛，输出完成训练的多模态变分自编码模型。

2.如权利要求1所述的多模态变分自编码模型训练方法，其特征在于，定义所述图像对数据集中的其中一对图像分别为第一模态图像x和第二模态图像y，所述第一模态图像x和所述第二模态图像y相互配对得到的一对两模态数据为(x,y)，所述两模态数据(x,y)具有共享隐向量z、以及分别对应所述第一模态图像x和所述第二模态图像y的私有隐向量h_x、h_y；

所述多模态变分自编码框架模型包括分别对应所述第一模态图像x和所述第二模态图像y的第一生成器第二生成器所述多模态变分自编码框架模型还包括分别对应所述私有隐向量h_x和所述私有隐向量h_y的第一私有信息编码器第二私有信息编码器以及分别对应所述第一模态图像x和所述第二模态图像y的第一共享信息编码器第一共享信息编码器

3.如权利要求2所述的多模态变分自编码模型训练方法，其特征在于，所述多模态变分自编码框架模型对所述两模态数据(x,y)的联合概率分布建模满足如下关系式(1)：

关系式(1)中，p(z)、p(h_x)、p(h_y)分别为所述共享隐向量z、所述私有隐向量h_x、所述私有隐向量h_y的先验分布，且均服从各向同性的高斯分布。

4.如权利要求3所述的多模态变分自编码模型训练方法，其特征在于，所述多模态变分自编码框架模型进行训练时，对于所述两模态数据(x,y)，其边缘概率分布p_θ(x,y)满足如下关系式(2)：

所述多模态变分自编码框架模型使用变分推理法，利用q(z,h_x,h_y|x,y)作为变分分布，并计算lnp_θ(x,y)的变分下界所述变分下界满足如下关系式(3)：

5.如权利要求4所述的多模态变分自编码模型训练方法，其特征在于，所述多模态变分自编码框架模型进行训练时，对于所述两模态数据(x,y)存在模态数据缺失的情况，其边缘概率分布p_θ(x)、p_θ(y)分别满足如下关系式(4)、(5)：

所述多模态变分自编码框架模型使用变分推理法，利用q(z,h_x,|x)、q(z,h_y,|y)作为变分分布，并计算lnp_θ(x)的变分下界或lnp_θ(y)的变分下界变分下界满足如下关系式(6)：

变分下界满足如下关系式(7)：

6.如权利要求5所述的多模态变分自编码模型训练方法，其特征在于，定义所述第一模态图像x和所述第二模态图像y对应的负样本分别为x_、y_，所述四元组度量损失的约束满足如下关系式(8)：

关系式(8)中，μ_x(x)与μ_y(y)分别表示所述第一共享信息编码器所述第二共享信息编码器的输出结果的均值，α₁、α₂为超参数；

所述多模态变分自编码框架模型最终的目标函数满足如下关系式(9)：

其中，β为超参数。

7.如权利要求1所述的多模态变分自编码模型训练方法，其特征在于，所述多模态变分自编码模型在训练时使用梯度下降方法进行优化，使用Adam作为优化器。