[发明专利]基于生成对抗网络的细粒度跨媒体检索方法

说明书

本发明公开了基于生成对抗网络的细粒度跨媒体检索方法，包括以下步骤：(1)对视频数据进行噪声帧滤除操作；(2)构造双通道的特征提取网络；(3)构建基于生成对抗网络的细粒度跨媒体检索模型，该模型包含一个生成器和一个媒体判别器，对抗训练之后得到跨媒体数据的公共特征表示；(4)对公共特征空间的特征进行相似性度量，并按照相似性排序，找到与输入的细粒度数据相似性较高的数据进行输出。本发明能够精确地学习细粒度数据的辨别性特征，快速准确地检索到与输入数据具有较高相似性的多种媒体数据，可广泛应用于各种多媒体领域。

技术领域

本发明涉及多媒体分析与检索方法，特别涉及一种基于生成对抗网络的细粒度跨媒体检索方法。

背景技术

大数据时代，图像、视频、音频和文本等各种形式的多媒体数据全方面地传达想要表达的信息，也给人们的工作和生活带来了极大的便利，然而由于数据的爆炸性增长，人们想要快速地找到和某个物体相关的跨媒体信息却是一件很费时费力的事情。为了解决这一问题，跨媒体检索受到了越来越多学者的关注。跨媒体检索即输入一种媒体类型的数据，得到与其具有相同或相似语义的其他媒体类型的数据。例如，用户以一张鸟的图像去检索到鸟的视频或者音频等。但是，以往的跨媒体检索都是粗粒度级别的。例如，当用户输入一张“加州海鸥”的图像时，检索引擎只会把它当作是“鸟类”，从而返回很多“鸟”的图像、视频和其他的媒体数据，其中也包括了“西美鸥”和“银鸥”这些子物种的相关信息，然而当用户只想要检索“加州海鸥”而并不想要检索到的结果掺杂着其他鸟类子物种时，这样的粗粒度跨媒体检索并不符合用户检索的初衷。只有细粒度跨媒体检索能相对准确地找到用户想要查找的精确细分的种类，只返回“加州海鸥”的相关媒体信息。因此，随着人们对多样化和专业检索的要求不断提高，细粒度跨媒体检索取代了传统的粗粒度和单一媒体的检索成为当前研究的热点。

细粒度跨媒体检索算法能够关联到某一个精确分类的物体的各种媒体信息，达到更灵活、准确的检索目的。但是，以下两个原因使得细粒度跨媒体检索一直以来都颇具挑战：(1)较小的类间差异：属于同一物种的相似子类别可能具有相似的全局外观(图像或视频)，相似的文字描述(文本)和相似的声音(音频)，这导致很难区分相似的细粒度子类别。(2)异质性差异：不同媒体类型的数据具有不一致的分布和特征表示，因此难以直接对跨媒体数据进行相似性度量。

发明内容

发明目的：本发明提供一种能够精确地学习细粒度数据的辨别性特征，快速准确地检索到与输入数据具有较高相似性的多种媒体数据的基于生成对抗网络的细粒度跨媒体检索方法。

技术方案：基于生成对抗网络的细粒度跨媒体检索方法，包括以下步骤：

(1)对视频数据进行噪声帧滤除操作；

(2)构造双通道的特征提取网络，使用基于自注意力的文本特征提取器提取文本数据的特征，使用深度神经网络提取其他媒体数据的特征；

(3)构造公共特征空间学习模块和媒体判别器，使生成器和判别器其能够进行对抗训练，最终得到公共特征表示；

(4)利用相似性度量工具计算每种媒体数据之间的特征相似度，从而对其进行排序输出。

优选的，所述的跨媒体数据包括图像、视频、音频和文本数据。

优选的，步骤(1)中，所述的噪声帧滤除操作方法采用基于特征空间聚类的视频帧滤除方法，具体过程为：

从每个视频中以相同间隔截取N帧组成原始关键帧，25≤N≤50，然后使用深度神经网络作为特征提取器提取原始关键帧的特征，将其表示为：

f_v＝{m₁,m₂,…,m_N}

式中，v表示视频数据集中的视频总数，m_i表示第i帧图像的特征；