[发明专利]一种基于自适应迁移学习的图像记忆度预测方法

说明书

技术领域

本发明涉及一种图像记忆度预测方法。特别是涉及一种基于自适应迁移学习的图像记忆度预测方法。

背景技术

随着媒体时代的到来，我们身边充斥着各种各样的媒体信息，其中图片是一个典型的存在，人类认知的一个标志是我们能记忆大量不同图像的能力，不同图像在我们脑海中存在的时间是不一样的，而大部分人也倾向于记住和忘记相同的图片，这也是图像的一种稳定属性^[1]。图像记忆度是一个新兴的概念，来衡量一个图片在一段时间后被记住的程度。由于图像记忆度可以应用于用户界面设计，图像处理，计算机视觉和场景理解等领域而越来越受到关注。

经过观察研究发现，能被记住和被遗忘的图像具有不同的视觉特征^[2]，例如图片中含有人的图片就容易被记住，而大部分单一自然风景的图片就容易被遗忘。近些年绝大多数对图像记忆度的研究是围绕图像底层视觉特征或图像属性特征展开的，其中图像属性特征相比底层特征是更高级别的语义特征，也有更好的预测效果。然而现有的大多数研究之着眼于单独的属性特征对记忆度的影响，想要对多种属性特征进行研究，并利用底层特征与图像属性特征构建框架来提升预测能力是比较复杂的。

传统的机器学习绝大多数是从零开始，并不借鉴以前学到的知识，也不对学到的知识进行改进和发展，这很大程度上限制了机器学习的能力^[3]，提高机器学习能力的一个关键问题就在于，要让机器能够继承和发展过去学到的知识，也即掌握增量学习的能力。近年来，迁移学习(Transfer Learning)已经引起了广泛的关注和研究，从心理学的角度来看，迁移学习是人的基本学习技能，广泛存在于知识、技能和行为规范的学习中。迁移学习是运用已存有的知识对不同但相关领域问题进行求解的一种新的机器学习方法^[4]，目的是迁移已有的知识来解决目标领域中仅有少量有标签甚至没有的学习问题。迁移学习大致分为三类：多任务学习、跨领域学习和不同数据分布下的学习。

发明内容

本发明所要解决的技术问题是，提供一种基于自适应迁移学习的图像记忆度预测方法，避免了对单一的图像属性进行研究，将图像底层特征与图像属性特征组合预测图像记忆度，并引入迁移学习提高了预测结果。

本发明所采用的技术方案是：一种基于自适应迁移学习的图像记忆度预测方法，包括如下步骤：

1)根据选择的M类图像属性特征，构建M个辅助外部数据库，其中M＝6；

2)对每个外部数据库提取相关特征，构成外部特征库；

3)根据选择的M类图像属性特征，对带有图像记忆度标签的LaMem数据库进行M类底层特征提取，提取的底层特征构成底层特征库；

4)将弱分类学习，结合迁移学习的回归模型和多视角一致性损失三部分放在同一个框架下构成一个整体，采用交替迭代的方法求解，在最优参数下得到图像底层特征、图像属性特征和图像记忆度的关系；

5)利用在最优参数下得到图像底层特征、图像属性特征和图像记忆度的关系，预测图像记忆度并用相关评价标准来验证预测结果。

步骤1)所述的M类图像属性特征包括：美观性特征、语义情感特征、人脸特征、昼夜特征、室内室外特征和人工自然特征，每一类特征对应一个外部数据库。

步骤2)包括：提取每个辅助外部数据库的底层特征为其中，D_i代表第i个辅助外部数据库对应底层特征的维数，N_i代表第i个辅助外部数据库中所含图像个数，M个辅助外部数据库提取的底层特征共同构成外部特征库A＝{A₁,...,A_M}。

步骤3)包括：提取LaMem数据库的每一类底层特征为其中，D_i代表第i类底层特征的维数，N代表数据库中所含图像个数，N＝58741，M类底层特征共同构成底层特征库B＝{B₁,...,B_M}。