[发明专利]一种增加图像文本描述多样性方法

权利要求书

1.一种增加图像文本描述多样性方法，其特征在于，按照以下步骤实施：

步骤1、表达待描述图像的目标重要性；

步骤2、构建原始彩色图像Image中目标的相邻关系结构图，表达关联关系重要性；

步骤3、对检测到的目标进行筛选，得到文本描述网络需要的特征；

步骤4、将随机删除非重要目标后的β组目标检测框特征，输入图像文本描述网络，生成多条描述语句。

2.根据权利要求1所述的增加图像文本描述多样性方法，其特征在于，所述的步骤1中，具体过程是，

1.1)将需要进行文本描述的原始彩色图像Image输入PoolNet网络，PoolNet网络输出的是描述了原始彩色图像Image中重要目标的灰度图；

将原始彩色图像Image输入PoolNet网络后，得到目标显著性图，记作S₁，S₁＝[s₁(i,j)]_H×W；目标显著性图中，每个像素点的灰度值表示该点的重要程度，越重要的物品的灰度值越大，重要目标是整幅图像中引起视觉关注的目标；

1.2)将需要进行文本描述的原始彩色图像Image再用Context-Aware SaliencyDetection方法，获得语义显著性图，记作S₂，S₂＝[s₂(i,j)]_H×W；

1.3)将目标显著性图S₁和语义显著性图S₂相叠加，得到显著性图S，S＝[s(i,j)]_H×W，叠加公式如下：

按照公式(1)将图3和图4融合后得到的结果，显著性图S中重要目标的灰度值最高，周围环境次之；

1.4)通过Faster R-CNN网络对输入原始彩色图像Image进行目标检测，通过Faster R-CNN网络的RPN模块得到候选目标检测框k_b＝1,2,...,P，P为候选目标个数；之后通过非极大值抑制模块，得到最终保留下来的N个目标检测框，取这N个目标检测框box_k，k＝1,2,...,N在FC6层后的特征，作为N个目标的特征，记作X_k，X_k＝[x_1,k,x_2,k,...,x_d,k]k＝1,2,...,N，其中d为特征向量的维数；

1.5)计算N个目标检测框的显著性得分，每个目标检测框的显著性得分表示了该目标的重要程度，计算公式如下：

其中，表示第k个目标中的像素点的个数。

3.根据权利要求1所述的增加图像文本描述多样性方法，其特征在于，所述的步骤2中，具体过程是，

2.1)得到原始彩色图像Image中每个物品的检测框box_k，k＝1,2,...,N后，计算第ib个检测框box_ib和第jb个检测框box_jb之间的相邻关系IoU(ib,jb)，公式如下：

其中，box_ib∩box_jb是box_ib和box_jb的交集区域，box_ib∪box_jb是box_ib和box_jb的并集区域；

2.2)当box_ib和box_jb的IoU(ib,jb)＞δ，δ为经验值，0.15≤δ≤0.3时，则认为这两个目标检测框中的目标存在关联；

2.3)将每个目标检测框视为一个节点，当两个目标检测框之间按照步骤2.2)判断为存在关联时，则这两个节点间存在一条边，由此构建目标关系图；

2.4)计算目标关系图中每个目标节点的度，度是节点上边的数量，当一个目标节点的度越大，表示与该目标相关联的其他目标越多，则表明该目标越重要。