[发明专利]一种增加图像文本描述多样性方法

说明书

本发明公开了一种增加图像文本描述多样性方法，步骤包括：步骤1、表达待描述图像的目标重要性；步骤2、构建原始彩色图像Image中目标的相邻关系结构图，表达关联关系重要性；步骤3、对检测到的目标进行筛选，得到文本描述网络需要的特征；步骤4、将随机删除非重要目标后的β组目标检测框特征，输入图像文本描述网络，生成多条描述语句。本发明的方法，在进入图像的文本描述网络前对图像中的目标进行重要性表达，将图像中出现的目标分为重要目标和非重要目标，通过随机删除非重要且不影响图像语义的目标，使得图像文本描述网络能够生成不同的描述语句，丰富描述语句的多样性。

技术领域

本发明属于图像文本描述技术领域，涉及一种增加图像文本描述多样性方法。

背景技术

图像文本描述算法是指根据输入图像的内容，自动生成描述性文字的方法。在实际中具有重要意义和广泛应用。如对图像进行快速分析、处理；将图像转化为文本，辅助视觉障碍人士理解图像内容。此外，图像文本描述在图像智能审核、检索、分类等方面也有着十分重要的应用。然而通过图像文本描述算法对图像进行描述时，绝大多数方法仅能通过一条或者是少量几条相近含义的描述语句描述图像内容，难以满足语义多样性的要求。

发明内容

本发明的目的是提供一种增加图像文本描述多样性方法，解决了现有技术在图像文本描述过程中，生成描述语句过于单一的问题。

本发明所采用的技术方案是，一种增加图像文本描述多样性方法，按照以下步骤实施：

步骤1、表达待描述图像的目标重要性；

步骤2、构建原始彩色图像Image中目标的相邻关系结构图，表达关联关系重要性；

步骤3、对检测到的目标进行筛选，得到文本描述网络需要的特征；

步骤4、将随机删除非重要目标后的β组目标检测框特征，输入图像文本描述网络，生成多条描述语句。

本发明的有益效果是，在进入图像的文本描述网络前对图像中的目标进行重要性表达，将图像中出现的目标分为重要目标和非重要目标，通过随机删除非重要且不影响图像语义的目标，使得图像文本描述网络能够生成不同的描述语句，丰富描述语句的多样性。

附图说明

图1是本发明方法的总体结构流程框图；

图2是本发明方法中待描述的原始图像Image；

图3是本发明方法中通过PoolNet网络得到的目标显著性图；

图4是本发明方法中通过Context-Aware Saliency Detection方法得到的语义显著性图；

图5是本发明方法中的融合显著性图；

图6是本发明方法中Faster R-CNN网络获取检测目标特征流程图；

图7是本发明方法中生成的目标节点关系示意图；

图8是本发明方法中生成多条描述语句流程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

参照图1，本发明的方法，按照以下步骤实施：

步骤1、表达待描述图像的目标重要性，具体过程是，

1.1)将需要进行文本描述的原始彩色图像Image输入PoolNet网络，(该PoolNet网络为现有技术，可在公开发表的论文中检索到)，PoolNet网络输出的是描述了原始彩色图像Image中重要目标的灰度图；