[发明专利]一种大型图像集的语义信息提取和可视化方法

说明书

本发明公开了一种大型图像集的语义信息提取和可视化方法，包括以下步骤：(1)获取数据，图像集合使用I表示；(2)步骤(1)中的每张图像进行处理，获得描述图像内容的句子形式的语言描述；(3)通过词干提取处理语言描述，得到所有描述图像集合的关键词集合W；(4)提取出步骤(2)处理过程中的中间数据，所述中间数据包括图像的向量形式表征V_I和单词的向量形式表征V_W；(5)对图像集合I和关键词集合W分别进行投影，得到图像集合I在二维图像空间上的坐标P_I和关键词集合W在二维语义空间上的坐标P_W；(6)获得图像集合I中的局部语义结构；(7)在二维语义空间中对图像进行重构；(8)将得到的数据进行可视化。

技术领域

本发明涉及图像处理技术领域，特别涉及一种大型图像集的语义信息提取和可视化方法。

背景技术

随着信息技术的迅猛发展，图像信息正以前所未有的规模大量产生于日常生活中。小到个人相册管理，大到遥感图像分析，大型图像集合的分析在各种应用中起着不可忽视的作用。然而，使用户能够方便地分析和理解图片集的技术和工具则相对落后。近年来，可视化领域中，人们对大型图像集合的探索越来越有兴趣，也出现了一系列应用于图像可视化的方法，例如树状图、节点连接图、散点图等等。一般来说，这些方法都是通过图像的内在特征(如像素大小、时间地点等元数据信息)或图像所附带的用户标签对图像集做聚类或分组，以便为用户提供直观的可视化纵览或是进一步地提供交互手段向下分析各个图像。

针对图像的可视化方法已经成功应用于诸多系统中，例如PhotoMesa、PHOTOLAND、ImageHive等。然而，这些方法很大程度上忽略了图像内容的语义信息，相较于图像的颜色、像素大小等因素，图像的语义信息更能反映出图像的真实内容。还有的方法虽然使用了语义信息帮助分析图像的含义，但是语义信息来源于手动添加的标签和描述文本等附加信息。这些附加信息在许多场景下都是缺失的或者不可靠的。例如发布在社交媒体上的图片，经常会出现一段文字配多张图片或者图文无关的情况。此时若仍然采用附加信息作为图片的语义描述信息，显然是荒谬的。相较之下，由图片本身根据嵌入的内容提取得到的语义信息更为可靠。

因此，设计开发一个运用自动图像描述技术的大型图像集可视化系统来帮助用户多尺度地理解和分析图像集特征是十分必要的。

发明内容

本发明提供了一种大型图像集的语义信息提取和可视化方法，可以在不同尺度下快速理解大规模图像集合的语义信息，挖掘出图像集合中的主题和分布，便于分析和处理。

一种大型图像集的语义信息提取和可视化方法，包括以下步骤：

(1)获取数据，数据中的属性包括图像的标识ID，图像的像素值，图像集合使用I表示；

(2)步骤(1)中的每张图像进行处理，获得描述图像内容的句子形式的语言描述；

(3)通过词干提取处理步骤(2)获得的语言描述，得到所有描述图像集合的关键词集合W；

(4)提取出步骤(2)处理过程中的中间数据，所述中间数据包括图像的向量形式表征V_I和单词(句子形式中的单词)的向量形式表征V_W；

(5)对图像集合I和关键词集合W分别进行投影，得到图像集合I在二维图像空间上的坐标P_I和关键词集合W在二维语义空间上的坐标P_W；

(6)获得图像集合I中的局部语义结构，获取步骤包括：

6-1图像集合I和关键词集合W之间进行双向绑定；

6-2根据步骤6-1的双向绑定结果在二维图像空间中嵌入关键词集合W；