[发明专利]图像描述方法和装置、计算机设备、存储介质

说明书

本申请实施例提供一种图像描述方法和装置、计算机设备、存储介质，属于人工智能技术领域。包括：获取原始图像，对原始图像进行特征提取得到图像特征；根据图像特征对原始图像进行区域检测得到目标区域图像；对目标区域图像进行特征提取得到区域特征向量；通过主题生成模型对区域特征向量进行提取处理得到主题数据；主题数据包括主题词向量和时刻状态信息；通过词生成模型对主题数据进行单词预测得到描述单词；根据时刻状态信息对描述单词进行拼接处理，得到用于描述原始图像的目标描述文本。通过多次特征提取，能够使目标描述文本包含更多图像细节；依次利用主题生成模型和词生成模型分层次地生成具有连贯语义的描述文本。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种图像描述方法和装置、计算机设备、存储介质。

背景技术

随着人工智能技术的发展，图像描述技术已经成为理解图像内容的一种解决方法。其中，图像描述技术用来使计算机理解图像的内容，并使其生成对应的描述文本。目前，一般通过对原始图像进行目标检测并生成对应的描述文本，但是，采用该方式会导致描述文本的语义不够连贯。

发明内容

本申请公开实施例的主要目的在于提出一种图像描述方法和装置、计算机设备、存储介质，依次利用主题生成模型和词生成模型分层次地生成具有连贯语义的描述文本。

为实现上述目的，本申请公开实施例的第一方面提出了一种图像描述方法，所述方法包括：

获取原始图像；

对所述原始图像进行特征提取，得到图像特征；

根据所述图像特征对所述原始图像进行区域检测，得到目标区域图像；

对所述目标区域图像进行特征提取，得到区域特征向量；

通过主题生成模型对所述区域特征向量进行提取处理，得到主题数据；其中，所述主题数据包括主题词向量和对应所述主题词向量的时刻状态信息；

通过词生成模型对所述主题数据进行单词预测，得到描述单词；

根据所述时刻状态信息对每一所述描述单词进行拼接处理，得到目标描述文本；其中，所述目标描述文本用于描述所述原始图像。

在一些实施例，所述对所述目标区域图像进行特征提取，得到区域特征向量，包括：

对所述目标区域图像进行预处理，得到初步区域图像；

对所述初步区域图像进行卷积处理，得到卷积特征向量；

对所述卷积特征向量进行池化处理，得到所述区域特征向量。

在一些实施例，对所述目标区域图像进行预处理，得到初步区域图像，包括：

对所述目标区域图像进行特征映射，得到初步映射图像；

根据预设尺寸对所述初步映射图像进行尺寸变换，得到所述初步区域图像。

在一些实施例，所述根据预设尺寸对所述初步映射图像进行尺寸变换，得到所述初步区域图像，包括：

获取所述目标区域图像的第一坐标；

根据所述第一坐标和所述预设尺寸计算得到第二坐标；

根据所述第二坐标调整所述初步映射图像的尺寸，得到所述初步区域图像。

在一些实施例，所述通过主题生成模型对所述区域特征向量进行提取处理，得到主题数据，包括：

将所述区域特征向量输入至所述主题生成模型；其中，所述主题生成模型包括循环层和隐藏层；

通过所述循环层对所述区域特征向量进行循环迭代处理，得到所述主题词向量；