[发明专利]一种基于图像识别与文本融合的博物馆展品智能导览方法

说明书

本发明提供一种基于图像识别与文本融合的博物馆展品智能导览方法，涉及图像识别与文本融合技术领域。本发明步骤如下：步骤1：收集展品图像，得到展品图片集合；步骤2：建立基于卷积神经网络结构的识别模型；使用图片X训练基于卷积神经网络结构的初始识别模型，得到损失函数L(X)，根据损失函数训练识别初始模型中的参数，得到基于卷积神经网络结构的识别模型，得到图片X的识别结果；步骤3：根据识别结果作为关键词进行相关资讯的爬取收集，获得资讯数据集；步骤4：获取的资讯数据集中提取摘要T；步骤5：将步骤4中得到的摘要T进行资讯融合；本方法能够提高参观者参观体验，降低博物馆日常运营费用，减少人力成本。

技术领域

本发明涉及图像识别与文本融合技术领域，尤其涉及一种基于图像识别与文本融合的博物馆展品智能导览方法。

背景技术

博物馆是人们学习历史、了解专业领域发展和丰富精神文化生活的重要载体。在传统博物馆中，导览服务主要由讲解员提供，不仅自由性差、展示形式单一、用户无法高效筛选自己想要了解的知识，甚至需要用户支付额外的费用，有时还会造成博物馆展厅内的局部堵塞。而现有的博物馆导览技术主要是基于RFID(射频识别)的技术，用户在参观时被动的接受相关展品的语音信息，体验性差，并且这种方式需要在博物馆内安装大量的无线发射装置作为展品的电子标签，安装费用高昂，而且受博物馆场馆环境的限制。近年来新兴的基于二维码的手机APP导览系统，通过对展品的二维码标签进行扫描，搜索展品的相关信息，这种方法的不足之处是需要对所有的展品都贴上二维码标签。更重要的是，以上这些方法的介绍内容都是通过查询数据库获取的，而数据库中的信息通常更新速度较慢，造成信息的滞后。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于图像识别与文本融合的博物馆展品智能导览方法，本方法能够提高参观者参观体验，降低博物馆日常运营费用，减少人力成本；

为解决上述技术问题，本发明所采取的技术方案是：

本发明提供一种基于图像识别与文本融合的博物馆展品智能导览方法，包括如下步骤：

步骤1：收集展品图像，将所有图像调整成统一大小，并对图片进行数据增强处理，得到展品图片集合，所述展品图片集合中的图片为带有正确分类标签的图片；

步骤2：建立基于卷积神经网络结构的识别模型；将VGG网络结构模型中的特征提取层以及分类层参数作为基于卷积神经网络结构的初始识别模型中的参数；使用步骤1的展品图片集合中的图片X训练基于卷积神经网络结构的初始识别模型，得到损失函数L(X)，根据损失函数训练识别初始模型中的参数，得到基于卷积神经网络结构的识别模型，得到图片X的识别结果；

步骤3：根据步骤2中得到的识别结果作为关键词进行相关资讯的爬取收集；将识别结果根据爬虫技术做关键词分割，根据分割后的关键词在百度上收集资讯，获得资讯数据集；

步骤4：获取的资讯数据集中提取摘要T；运用抽取式的方式进行摘要的生成，去除资讯数据集中冗余的信息，将其主要内容提取出来；将步骤3中资讯数据集中的句子排成句子序列A₁、A₂、…、A_n组成文档D，n为句子总数,通过根据概率选取D中的m个句子组成摘要T；

概率选取方法为：Extractive式摘要生成模型包括句子编码器、文档编码器以及句子提取器；其中，句子编码器中使用word2vec得到每个单词的200维向量并使用卷积与池化操作得到句子的编码向量；在文档编码器中使用LSTM网络，句子提取器部分将关键词作为额外信息，参与为句子评分的过程，最终目标是使含有关键词的句子获得更高的得分，即：