[发明专利]基于多模态的场馆识别方法、系统、设备及存储介质

说明书

本发明提供了基于多模态的场馆识别方法、系统、设备及存储介质，该方法包括：将攻略文档中的攻略图片和攻略图片对应的介绍文本训练一多模态模型，并获得每个场馆类别标签对应的词向量；将待识别图像输入多模态模型中的图片编码器，提取图片向量，根据图片向量与词向量的相似性参数来判断筛选出待确认图像；将待确认图像输入经过训练的神经网络，输出待识别图像对应的场馆类别标签。本发明能够基于攻略线上海量图片，利用多模态检索，实现了一个对开放场景自动识别的机制，大大减少人工成本，便于后续对其他场景的应用。

技术领域

本发明涉及在线旅游领域，具体地说，涉及基于多模态的场馆识别方法、系统、设备及存储介质。

背景技术

在线旅游(Online Travel Agency)，是旅游电子商务行业的专业词语。指“旅游消费者通过网络向旅游服务提供商预定旅游产品或服务，并通过网上支付或者线下付费，即各旅游主体可以通过网络进行产品营销或产品销售”。OTA的出现将原来传统的旅行社销售模式放到网络平台上，更广泛的传递了线路信息，互动式的交流更方便了客人的咨询和订购。

在当前大数据时代，人们随身携带手机，遇到好看的景点或者去过的地点都会拍照留念记录，有的人会上传网络与他人分享，所以在OTA平台上，我们可以看到各种各样的照片。对于这些别人随手拍的照片，作为OTA平台，可以使用这些大数据来提升用户体验。比如，对于一些运动场地的景点，可以优先选择相关的场地图片展示，使得用户在第一眼就能够了解到需要的场馆信息，所以就需要每张图片打上相应的标签。

OTA平台每日图片增量惊人，无法有如此多的人力投入到对图片打标签中，所以寄希望于深度学习，减少人力成本，自动化对存量和增量均打上相应的标签。

因此，本发明提供了一种基于多模态的场馆识别方法、系统、设备及存储介质。

发明内容

针对现有技术中的问题，本发明的目的在于提供基于多模态的场馆识别方法、系统、设备及存储介质，克服了现有技术的困难，能够基于攻略线上海量图片，利用多模态检索，能够过滤大量与场馆无关的图片，然后进一步对可能含场馆的图片，根据的需求分类，实现了一个对开放场景自动识别的机制，大大减少人工成本，便于后续对其他场景的应用。

本发明的实施例提供一种基于多模态的场馆识别方法，包括以下步骤：

将攻略文档中的攻略图片和所述攻略图片对应的介绍文本训练一多模态模型，并获得每个场馆类别标签对应的词向量；

将待识别图像输入所述多模态模型中的图片编码器，提取图片向量，根据所述图片向量与词向量的相似性参数来判断筛选出待确认图像；

将所述待确认图像输入经过训练的神经网络，输出所述待识别图像对应的场馆类别标签。

优选地，所述将攻略文档中的攻略图片和所述攻略图片对应的介绍文本训练一多模态模型，并获得每个场馆类别标签对应的词向量，包括：

将攻略文档中的攻略图片和所述攻略图片对应的介绍文本进行配对，获得图文对数据集，

通过所述图文对数据集训练一具有图片编码器和文本编码器的多模态模型；

通过所述文本编码器获得每个场馆类别标签对应的词特征以及相关的词向量。

优选地，所述将攻略文档中的攻略图片和所述攻略图片对应的介绍文本进行配对，获得图文对数据集，包括：

将所述攻略文档进行自然语义识别，获得自然段落的至少一第一场馆类别标签；

对所述攻略中的图片进行图片识别获得第二场馆类别标签；

将与所述图片相邻的上文以及下文各N个自然段中的第一场馆类别标签满足所述第二场馆类别标签的自然段集合作为所述图片的对应的介绍文本，N≤3；