[发明专利]一种基于自适应迁移学习的图像记忆度预测方法

权利要求书

1.一种基于自适应迁移学习的图像记忆度预测方法，其特征在于，包括如下步骤：

1)根据选择的M类图像属性特征，构建M个辅助外部数据库，其中M＝6；

2)对每个外部数据库提取相关特征，构成外部特征库；

3)根据选择的M类图像属性特征，对带有图像记忆度标签的LaMem数据库进行M类底层特征提取，提取的底层特征构成底层特征库；

4)将弱分类学习，结合迁移学习的回归模型和多视角一致性损失三部分放在同一个框架下构成一个整体，采用交替迭代的方法求解，在最优参数下得到图像底层特征、图像属性特征和图像记忆度的关系；

5)利用在最优参数下得到图像底层特征、图像属性特征和图像记忆度的关系，预测图像记忆度并用相关评价标准来验证预测结果。

2.根据权利要求1所述的一种基于自适应迁移学习的图像记忆度预测方法，其特征在于，步骤1)所述的M类图像属性特征包括：美观性特征、语义情感特征、人脸特征、昼夜特征、室内室外特征和人工自然特征，每一类特征对应一个外部数据库。

3.根据权利要求1所述的一种基于自适应迁移学习的图像记忆度预测方法，其特征在于，步骤2)包括：提取每个辅助外部数据库的底层特征为其中，D_i代表第i个辅助外部数据库对应底层特征的维数，N_i代表第i个辅助外部数据库中所含图像个数，M个辅助外部数据库提取的底层特征共同构成外部特征库A＝{A₁,...,A_M}。

4.根据权利要求1所述的一种基于自适应迁移学习的图像记忆度预测方法，其特征在于，步骤3)包括：提取LaMem数据库的每一类底层特征为其中，D_i代表第i类底层特征的维数，N代表数据库中所含图像个数，N＝58741，M类底层特征共同构成底层特征库B＝{B₁,...,B_M}。

5.根据权利要求1所述的一种基于自适应迁移学习的图像记忆度预测方法，其特征在于，步骤4)所述的将弱分类学习，结合迁移学习的回归模型和多视角一致性损失三部分放在同一个框架下构成一个整体，包括：对外部特征库进行弱分类学习，将图像内容与属性标签关联，得到每一类属性的属性探测器H_i；将底层特征库进行分组，分成训练集特征库和测试集特征库，结合迁移学习的回归模型的回归训练，采用线性回归的方法对训练集特征库进行训练；将图像记忆度的预测分为两方面，一方面是直接利用底层特征来预测图像记忆度，得到每一类底层特征到图像记忆度的映射矩阵w_i，另一方面结合迁移学习的回归模型，利用属性探测器H_i得到每类图像属性特征与图像记忆度的关系δ_i；将弱分类学习、结合迁移学习的回归模型和多视角一致性损失三部分放在同一个框架下构成整体目标函数：

其中X_i是训练集特征库，S_i是每一个外部数据库的属性标签，y是测试集图像的记忆度分数，γ，λ和是平衡参数来平衡各部分在目标函数中的作用，参数α，β用来调节底层特征和属性特征对图像记忆度的影响，α+β＝1，是正则项，用于防止过拟合，采用交替迭代的方法求解，得到最优参数下的H_i，w_i和δ_i。

6.根据权利要求1所述的一种基于自适应迁移学习的图像记忆度预测方法，其特征在于，步骤5)所述的相关评价标准是采取如下两种评估方法：

(1)排序相关评估方法：得到真实记忆度排序和预测记忆度分数排序关系，采用排序相关的斯皮尔曼等级相关系数的标准来衡量两种排序之间的相关系数，相关系数的取值范围是-1～1,值越高代表两种排序越接近：

$RC(r_1,r_2)=1-\frac{6\×{\Σ}_{i=1}^N{(r_{1i}-r_{2i})}^2}{N\×(N^2-1)}$

其中N是图像个数，r₁中的元素r_1i是第i张图片在真实结果中排序的位置，r₂中的元素r_2i是第i张图片在预测结果中排序的位置，RC(r₁,r₂)为相关系数；

(2)R-value：评估预测分数与实际分数间的相关系数便于回归模型比较，R-value取值范围是-1～1，其中，1代表正相关，-1代表负相关：

$R-value(s,v)=\frac{{\Σ}_{i=1}^N(v_i-\stackrel{\‾}{v})(s_i-\stackrel{\‾}{s})}{\sqrt{{\Σ}_{i=1}^N{(v_i-\stackrel{\‾}{v})}^2}\sqrt{{\Σ}_{i=1}^N{(s_i-\stackrel{\‾}{s})}^2}}$

其中N是测试集图像个数，s_i是图像真实记忆度分数向量，是所有图像真实记忆度分数的均值；v_i是图像预测记忆度分数向量，是所有图像预测记忆度分数的均值，R-value(s,v)是相关系数。