[发明专利]一种基于细粒度特征提取的图像理解方法

说明书

本发明公开一种基于细粒度特征提取的图像理解方法，包括步骤：对输入图像进行特征提取；基于提取特征进行图像子区域定位，对每一个子定位区域提取对应的区域特征；然后基于所述区域特征生成各自的区域描述信息；将所有区域描述信息进行统一的整合生成针对于输入图像内容的长文本描述。本发明采用细粒度的特征提取方式实现更准确的区域定位从而促进区域内容描述的准确性。同时本发明对所有合成的图像区域内容描述进行统一的整合并生成几句更高准确度的长文本描述，提高图像充分理解技术的实用性。同时本发明也能够使机器更好的理解图像内容并为人类提供更好的服务，这对于促进机器更加智能具有重大作用。

技术领域

本发明属于图像处理技术领域，特别是涉及一种基于细粒度特征提取的图像理解方法。

背景技术

图像理解是根据图像给出能够描述图像内容的自然语言语句，它类似于看图说话，即直接描述看到的图像内容。图像理解技术的本质是从视觉到语言的翻译，这对于人类来说是一件比较简单的任务，但对于机器来说却极具挑战。与人类直接看到的图像、文本信息不同，机器接收到的信息都是二进制的数据，在它看来并无明显区别，因此让它在两种不同形式的信息之间进行翻译是十分困难的。近几年随着人工智能中深度学习技术的发展，结合深度卷积神经网络和循环神经网络的技术在图像理解方面取得了成功。对于输入的图像，该技术能够生成较为准确的文本描述。图像理解技术目前正朝着全方位理解的方向去发展，即对输入图像的各个区域内容进行文本描述从而实现图像内容的充分理解。图像充分理解技术能够较好的帮助人们更好的理解图像内容，发现一些人们不易观察到的细节内容。这对于提高图像理解技术的实用性以及推广相关图像理解系统和软件均具有良好的促进作用。

现有的大多数图像理解技术最大的缺点在于只能基于输入的图像生成一句对应的文本描述，这使得当前的技术对图像内容理解程度有限从而不具有良好的实用性。当前有些方法能够基于输入的图像进行密集的文本生成，即先对输入图像的显著性区域进行定位，然后对每个定位的区域内容进行文本描述从而实现图像的充分理解。然后当前的这种做法在区域内容描述的准确率上仍有进一步提升的空间，另一方面当前的区域描述内容均为简单的短语，缺少对所有区域描述进行有效整合。这些使得当前图像充分理解技术的实用效果较差。

发明内容

为了解决上述问题，本发明提出了一种基于细粒度特征提取的图像理解方法，采用细粒度的特征提取方式实现更准确的区域定位从而促进区域内容描述的准确性。同时本发明对所有合成的图像区域内容描述进行统一的整合并生成几句更高准确度的长文本描述，提高图像充分理解技术的实用性。同时本发明也能够使机器更好的理解图像内容并为人类提供更好的服务，这对于促进机器更加智能具有重大作用。

为达到上述目的，本发明采用的技术方案是：一种基于细粒度特征提取的图像理解方法，包括步骤：

S10,对输入图像进行特征提取；

S20,基于提取特征进行图像子区域定位，对每一个子定位区域提取对应的区域特征；然后基于所述区域特征生成各自的区域描述信息；

S30,将所有区域描述信息进行统一的整合生成针对于输入图像内容的长文本描述。

进一步的是，在所述步骤S10中：利用卷积神经网络对对输入图像进行特征提取，获取输入图像的特征。

进一步的是，在所述步骤S20中：通过区域建议网络将输入图像的特征进行图像子区域定位。

进一步的是，在所述步骤S20中：对每个子定位区域通过卷积神经网络进行区域特征提取。

进一步的是，在所述步骤S20中：对每个子定位区域的区域特征通过循环神经网络生成各自的区域描述信息。

进一步的是，在步骤S30中,将所有区域描述信息进行统一的整合生成针对于输入图像内容的长文本描述，包括步骤：对第i个长文本描述的生成是在第i个区域描述信息的基础上使用其他所有的区域描述去合成的。