[发明专利]融合多模态信息的跨媒体人物新闻检索方法与系统

说明书

技术领域

本发明属于多媒体信息检索、新闻检索技术领域，具体涉及融合多模态信息的跨媒体人物新闻检索方法与系统。 

该算法功能体现在两个方面：其一是能够将新闻图像与文本信息对齐聚类，计算出新闻图像中人脸对应文本中的哪个新闻人物；其二是能够在对齐聚类后提供跨媒体人物新闻检索的方法，检索方法有按照人脸图像检索以及按照人名检索两种。该算法能够有效解决网络多模态新闻人名-人脸对齐问题以及跨媒体人物新闻检索问题，有着非常广泛的应用价值。 

背景技术

近十几年来计算机网络技术飞速发展，大量的视频、音频、图像数据也随之产生。如何索引、检索大规模多媒体数据成为了摆在我们面前的新的挑战。另一方面，计算机处理分析数据使用的是数据低级特征，人对数据的分析具有高级语义，这便是低级特征与高级语义之间不可跨越的鸿沟。如果建立跨越语义鸿沟的联系也是一个备受关注的难题^[1]。正因此，针对网络新闻资源实施有效、快速的索引、组织和分析的工作在近些年来也受到重要关注。 

网络新闻数据与纯文本或纯图像数据具有很大差别。传统的纯文本或者纯图像是单一模态的数据类型，而网络多模态新闻数据多半是文本、图像相结合的类型，属于跨模态多媒体数据^[2]。传统的新闻文本检索方法，是使用单一模态的文本关键字进行检索。这样的方式并未考虑到现在网络多模态新闻跨模态数据的特殊性，不能充分挖掘网络多模态新闻的特点^[3, 4]。于是，十分需要一种新颖的网络多模态新闻检索方法，帮助实现跨模态——跨媒体检索人物新闻。其重要性主要体现在以下几个方面： 

首先，传统的检索方法并不能胜任跨媒体新闻检索的任务。传统检索大都是单一模态的媒体信息检索，如文本检索或者图像检索，检索方法所使用的数据特征只包括独立的文本特征与图像特征，并不能把多种媒体信息相结合，挖掘它们之间的内在联系。网络多模态新闻的数据形式往往由文本与图像共同组成，文本与图像描述的内容往往密切相关，如只单纯使用其一并不充分。例如，输入一张图像，希望检索关于图像的新闻，传统的文本检索或者图像检索都不能完全把这些多模态信息融合在一起。又如，输入一个新闻人物的名字，希望检索有关该人物的图像，传统的文本检索使用其人名作为关键字，有时候并不能搜索到全部相关新闻。如能结合这些不同模态的媒体信息，利用它们之间的联系，如人脸与新闻人名之间的对应关系，则新闻检索时就会有许多便利。

其次，随着计算机网络的发展以及计算机多媒体技术的发展。现在的数据多样性越来越丰富，涉及的数据模态也越来越广泛。以前，网络新闻主要以文字为主，检索方式也都是文本关键字检索。随着多媒体技术、以及网络带宽的发展，现在的网络新闻基本都是以文字与图像相结合的方式呈现，甚至有的新闻还包含音频信息。不可避免，多媒体模态将会越来越多样化，此类多模态信息已经越来越广泛地应用于各种领域。而现在更多的检索的方法是，将多媒体信息添加上文本关键字标签，利用标签辅助文本检索。这种方法使用的是人工标注的方法，在数据规模较小的时候能够起到作用。但现在数据的增长速度与规模已远远超出人工能处理的范围。所以，迫切需求摆脱人工标注的、无监督的分析、处理、检索数据的方法^[5, 6]。 

针对多模态新闻检索，如何挖掘跨模态数据间的联系尤为关键。一个直观的想法是，如果能准确对应新闻图像中的人物与新闻文本中的人物，则就能在这两种媒体信息间建立精确的联系，为跨媒体人物新闻检索提供有力的帮助。然而，跨模态的人名-人脸对齐工作，是一项已经正在研究中的工作^[7, 8, 9]。纵观以往的对跨媒体新闻检索的方法，主要采用以下两种。其一是，对图像数据先进行人工标注文本关键字，再使用文本关键字进行传统的文本检索^[10]。这种方法巧妙地避开了不同模态数据融合建立联系的问题，把问题进行简化，但其不足之处在于当数据规模远远超出人工处理范围时，该方法不能满足现实需要。其二是，提取文本、图像特征信息，利用不同模态信息建立融合多模态特征的检索框架^{[11, 12, 13, 14]}。这是目前比较流行的方法，但该方法难点也颇多，如以下一些困难：