[发明专利]一种基于图像识别与文本融合的博物馆展品智能导览方法

权利要求书

1.一种基于图像识别与文本融合的博物馆展品智能导览方法，其特征在于：包括如下步骤：

步骤1：收集展品图像，将所有图像调整成统一大小，并对图片进行数据增强处理，得到展品图片集合，所述展品图片集合中的图片为带有正确分类标签的图片；

步骤2：建立基于卷积神经网络结构的识别模型；将VGG网络结构模型中的特征提取层以及分类层参数作为基于卷积神经网络结构的初始识别模型中的参数；使用步骤1的展品图片集合中的图片X训练基于卷积神经网络结构的初始识别模型，得到损失函数L(X)，根据损失函数训练识别初始模型中的参数，得到基于卷积神经网络结构的识别模型，得到图片X的识别结果；

步骤3：根据步骤2中得到的识别结果作为关键词进行相关资讯的爬取收集；将识别结果根据爬虫技术做关键词分割，根据分割后的关键词在百度上收集资讯，获得资讯数据集；

步骤4：获取的资讯数据集中提取摘要T；运用抽取式的方式进行摘要的生成，去除资讯数据集中冗余的信息，将其主要内容提取出来；将步骤3中资讯数据集中的句子排成句子序列A₁、A₂、…、A_n组成文档D，n为句子总数,通过根据概率选取D中的m个句子组成摘要T；

概率选取方法为：Extractive式摘要生成模型包括句子编码器、文档编码器以及句子提取器；其中，句子编码器中使用word2vec得到每个单词的200维向量并使用卷积与池化操作得到句子的编码向量；在文档编码器中使用LSTM网络，句子提取器部分将关键词作为额外信息，参与为句子评分的过程，最终目标是使含有关键词的句子获得更高的得分，即：

其中，u₀、W_e、w′_e为单隐层的神经网络的参数，r代表A_n被选入摘要的概率，代表μ时刻的句子A_n，h_μ为μ时刻LSTM网络的中间状态，h_μ′代表关键词的加权和，b为关键词的个数，K为每句话被选择到摘要T的概率，概率越大，句子A_n出现在T中的可能性越大；c_i为关键字，当句子中含有的关键词越多，h_μ′越大，最后该句子选入摘要中的概率也就更大；

步骤5：将步骤4中得到的摘要T进行资讯融合；

将摘要T中的句子融合成有逻辑的语段，采用段落模板结合描述逻辑的方法，通过定义描述逻辑，并匹配预先定义好的段落描述模板将摘要T中的句子融合为一个完整并且有意义的段落；所述段落模板为以时间为逻辑或地点、人物为逻辑。

2.根据权利要求1所述的一种基于图像识别与文本融合的博物馆展品智能导览方法，其特征在于：所述步骤2的具体步骤如下：

步骤2.1：使用VGG网络结构模型初始化分类子网络中的特征提取层以及分类层参数，输入训练集中的图片，寻找全连接层中对输入的图像的响应值，值最高的区域则选择为建议注意力区域正方形；

分类子网络f由一个全连接层以及一个softmax层组成：

P(X)＝f(w_c*X)

其中，X为输入的图像，P(X)为分类子网络的输出结果向量，向量的每一个维度表示输入图像属于该维度代表的种类的概率，w_c为图像特征提取过程的参数矩阵；w_c*X包括三段卷积网络，每段卷积网络含有两个卷积层以及一个最大池化层，经过图像特征提取得到的特征图谱分别送入分类子网络f以及注意力建议子网络g；

注意力建议子网络g由两个全连接层组成，其中最后一个全连接层的输出通道为3个，分别对应t_x,t_y,t_l；

[t_x,t_y,t_l]＝g(w_c*X)

其中，t_x,t_y为输出注意力区域中心点的横纵坐标、t_l为输出注意力区域的边长的1/2；

从原图中裁剪提取出注意力区域的过程为：

X^att＝X⊙M(t_x,t_y,t_l)

其中，X^att为注意力区域，X为原始输入图像，M(t_x,t_y,t_l)表示由t_x,t_y,t_l生成的掩膜；

步骤2.2：整个网络以交替的方式进行训练，保持注意力区域建议子网络的参数不变，根据双线性插值的方法对每个注意力区域进行放缩；每个注意力区域建议的输出区域放大到与输入图像X大小相同的像素；

所述放缩方法如下：

首先进行水平方向的插值：

其中R₁＝(x,y₁)；

其中R₂＝(x,y₂)

接下来进行竖直方向的插值，求出p点的像素值：

其中，p(x,y)表示待插点p的坐标为x、y，q(p)为待插点p的像素值,Q₁₁(x₁,y₁)、Q₁₂(x₁,y₂)、Q₂₁(x₂,y₁)、Q₂₂(x₂,y₂)分别为待插点p周围的四个点，x₁,y₁为点Q₁₁的坐标，x₁,y₂为点Q₁₂的坐标，x₂,y₁为点Q₂₁的坐标，x₂,y₂为点Q₂₂的坐标；R₁为p点垂线与Q₁₁和Q₂₁两点形成的线段的焦点，x,y₁为点R₁的坐标；R₂为p点垂线与Q₁₂和Q₂₂两点形成线段的焦点，x,y₂为点R₂的坐标；

步骤2.3：根据放缩后的注意力区域来优化每个尺度的分类损失，每个尺度的学习包括一个分类子网络和一个注意力区域建议子网络；固定卷积层和分类层的参数不变，使用损失函数来优化注意力区域建议子网络；

损失函数L(X)由分类损失与ranking损失两个部分构成，根据损失函数L(X)表示为：

其中，Y^*表示图像的真实种类，Y^s表示在s尺度下的分类结果，P_o^(s)表示在s尺度下分类子网络输出为真实种类的概率；

ranking损失Lrank(P_o^(s),P_o^(s+1))为：

Lrank(P_o^(s),P_o^(s+1))＝max(0,P_o^(s)-P_o^(s+1)+margin)

其中margin表示阈值。