[发明专利]一种大型图像集的语义信息提取和可视化方法

权利要求书

1.一种大型图像集的语义信息提取和可视化方法，其特征在于，包括以下步骤：

(1)获取数据，数据中的属性包括图像的标识ID，图像的像素值，图像集合使用I表示；

(2)步骤(1)中的每张图像进行处理，获得描述图像内容的句子形式的语言描述；

(3)通过词干提取处理步骤(2)获得的语言描述，得到所有描述图像集合的关键词集合W；

(4)提取出步骤(2)处理过程中的中间数据，所述中间数据包括图像的向量形式表征V_I和单词的向量形式表征V_W；

(5)对图像集合I和关键词集合W分别进行投影，得到图像集合I在二维图像空间上的坐标P_I和关键词集合W在二维语义空间上的坐标P_W；

(6)获得图像集合I中的局部语义结构，获取步骤包括：

6-1图像集合I和关键词集合W之间进行双向绑定，具体步骤为：

6-1-1定义Simi(W_i，I_j)来描述任一图像与任一关键词之间的相似性度量：

其中C_j表示I_j的语义描述语句，W_k为C_j内的词；

6-1-2对于任一关键词W_i，定义相关的图像集合为：

其中MiniSimi是最小相似度的阈值；

6-1-3对于任一图像I_j，定义相关的关键词集合为：

其中为总的关键词集合；

6-1-4使用和来代表相互关联的图像和关键词，建立了图像与关键词的多对多关系；

6-2根据步骤6-1的双向绑定结果在二维图像空间中嵌入关键词集合W，具体步骤为：根据步骤6-1-4得多对多关系，将每个关键词嵌入到尽可能靠近相关图像的地方，将关键词W_i嵌入二维图像空间的过程被描述为使得关键词W_i到相关图像加权距离和最小的过程，用公式表达如下：

其中P表示二维图像空间中的任意位置；

6-3提取步骤6-2得到的图像的局部语义结构；

(7)在二维语义空间中对图像进行重构，获得最终的共同投影结果，获取步骤包括：

7-1根据步骤(6)获得的局部语义结构，通过关键词对图像进行重构；

7-2根据关键词之间的关系对关键词进行重构；

(8)将步骤(7)得到的数据进行可视化。

2.如权利要求1所述的大型图像集的语义信息提取和可视化方法，其特征在于，步骤(2)中每张图像通过NIC处理获得描述图像内容的句子形式的语言描述。

3.如权利要求1所述的大型图像集的语义信息提取和可视化方法，其特征在于，步骤(5)中，使用t-SNE算法对图像集合I和关键词集合W分别进行投影。

4.如权利要求1所述的大型图像集的语义信息提取和可视化方法，其特征在于，步骤6-3中提取图像的局部语义结构的具体步骤为：构造对值(S_i，D_i)，其中S_i＝Simi(W_i，I_j)，D_i＝||W_i-I_j||。

5.如权利要求1所述的大型图像集的语义信息提取和可视化方法，其特征在于，步骤(8)中，采用星系隐喻的散点图进行可视化。