[发明专利]图像描述方法和装置、计算机设备、存储介质

权利要求书

1.一种图像描述方法，其特征在于，所述方法包括：

获取原始图像；

对所述原始图像进行特征提取，得到图像特征；

根据所述图像特征对所述原始图像进行区域检测，得到目标区域图像；

对所述目标区域图像进行特征提取，得到区域特征向量；

通过主题生成模型对所述区域特征向量进行提取处理，得到主题数据；其中，所述主题数据包括主题词向量和对应所述主题词向量的时刻状态信息；

通过词生成模型对所述主题数据进行单词预测，得到描述单词；

根据所述时刻状态信息对每一所述描述单词进行拼接处理，得到目标描述文本；其中，所述目标描述文本用于描述所述原始图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述目标区域图像进行特征提取，得到区域特征向量，包括：

对所述目标区域图像进行预处理，得到初步区域图像；

对所述初步区域图像进行卷积处理，得到卷积特征向量；

对所述卷积特征向量进行池化处理，得到所述区域特征向量。

3.根据权利要求2所述的方法，其特征在于，对所述目标区域图像进行预处理，得到初步区域图像，包括：

对所述目标区域图像进行特征映射，得到初步映射图像；

根据预设尺寸对所述初步映射图像进行尺寸变换，得到所述初步区域图像。

4.根据权利要求3所述的方法，其特征在于，所述根据预设尺寸对所述初步映射图像进行尺寸变换，得到所述初步区域图像，包括：

获取所述目标区域图像的第一坐标；

根据所述第一坐标和所述预设尺寸计算得到第二坐标；

根据所述第二坐标调整所述初步映射图像的尺寸，得到所述初步区域图像。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述通过主题生成模型对所述区域特征向量进行提取处理，得到主题数据，包括：

将所述区域特征向量输入至所述主题生成模型；其中，所述主题生成模型包括循环层和隐藏层；

通过所述循环层对所述区域特征向量进行循环迭代处理，得到所述主题词向量；

根据所述主题词向量从所述隐藏层中获取所述时刻状态信息。

6.根据权利要求5所述的方法，其特征在于，所述通过词生成模型对所述主题数据进行单词预测，得到描述单词，包括：

获取所述词生成模型的激活函数；

将所述主题词向量和所述时刻状态信息输入至所述词生成模型；

根据所述激活函数对所述主题词向量和所述时刻状态信息进行计算，得到至少一个候选单词；

从所述候选单词中获取所述描述单词。

7.根据权利要求6所述的方法，其特征在于，所述从所述候选单词中获取所述描述单词，包括：

计算每一所述候选单词在预设单词集的分布概率；

获取分布概率最大的所述候选单词，作为所述描述单词。

8.一种图像描述装置，其特征在于，所述装置包括：

图像获取模块：用于获取原始图像；

第一特征提取模块：用于对所述原始图像进行特征提取，得到图像特征；

区域检测模块：用于根据所述图像特征对所述原始图像进行区域检测，得到目标区域图像；

第二特征提取模块：用于对所述目标区域图像进行特征提取，得到区域特征向量；

数据提取模块：用于通过主题生成模型对所述区域特征向量进行提取处理，得到主题数据；其中，所述主题数据包括主题词向量和对应所述主题词向量的时刻状态信息；

单词预测模块：用于通过词生成模型对所述主题数据进行单词预测，得到描述单词；

单词拼接模块：用于根据所述时刻状态信息对每一所述描述单词进行拼接处理，得到目标描述文本；其中，所述目标描述文本用于描述所述原始图像。