[发明专利]一种基于深度学习的VR智能巡店方法及装置

说明书

本发明公开了一种基于深度学习的VR智能巡店方法及装置，通过获取店铺的全景图像及多个第一场景区域图像；对全景图像中的场景区域进行检测，得到多个第二场景区域图像；对多个第一场景区域图像进行商品信息检测，得到对应的商品信息；通过计算第一场景区域图像和第二场景区域图像之间的相似度，构建相似度矩阵；并基于预设匹配算法对相似度矩阵进行匹配，得到第一场景区域图像和第二场景区域图像的最优匹配对；以使在实时检测到展示中的所述全景图像中的第二场景区域图像时，能基于最优匹配对，实时展示第一场景区域图像及其对应的商品信息。与现有技术相比，本发明的技术方案不仅能提高巡店效率，还能及时获取店铺中对应的场景区域的商品信息。

技术领域

本发明涉及图像识别的技术领域，特别是涉及一种基于深度学习的VR智能巡店方法及装置。

背景技术

近年来，随着科技创新发展，快消行业智能化水平提高，为智慧快消运营提供了多种数字化管理路径，行业也开始向高性价比、高可视化的智慧运营方向迈进。在门店日常管理工作，巡店工作是一个必做的工作。通过巡店能够及时发现门店日常管理工作中没有按照标准规范执行的，纠偏和修正在巡店过程中的重难点问题，求真务实地区解决，这样才能保证门店各部门工作协调、通畅；对外巡店是公司了解竞争对手工作的一部分，也是要重视的工作，只有日常了解和分析对手门店的工作，做到知己知彼，百战不殆；所以巡店工作重要性可见一斑。

但目前在进行巡店时，普遍都是基于业务员亲自到店铺中进行巡店，对于区域大的店铺或多个店铺而言，业务员难以及时获取店铺中的场景及对应商品的信息，且巡店效率低下，如何提高巡店效率，并及时获取店铺中的信息，成为当前急需解决的技术问题。

发明内容

本发明要解决的技术问题是：提供一种基于深度学习的VR智能巡店方法及装置，不仅能提高巡店效率，还能及时获取店铺中对应的场景区域的商品信息。

为了解决上述技术问题，本发明提供了一种基于深度学习的VR智能巡店方法，包括：

获取店铺的全景图像及多个第一场景区域图像；

基于预训练的深度学习mask检测模型对所述全景图像中的场景区域进行检测，得到多个第二场景区域图像；

基于预训练的深度学习框检测模型分别对所述多个第一场景区域图像进行检测，得到每个第一场景区域图像对应的商品信息；

通过局部区域匹配算法计算所述第一场景区域图像和所述第二场景区域图像之间的相似度，并基于所述相似度，构建相似度矩阵；

基于预设匹配算法对相似度矩阵进行匹配，得到所述第一场景区域图像和所述第二场景区域图像的最优匹配对；

实时检测展示中的所述全景图像中的第二场景区域图像，基于所述最优匹配对，获取所述第二场景区域图像对应的第一场景图像，并实时展示第一场景区域图像及其对应的商品信息。

在一种可能的实现方式中，基于预训练的深度学习mask检测模型对所述全景图像中的场景区域进行检测，得到多个第二场景区域图像，具体包括：

获取店铺的大量的全景样本图像，采用多边形框对每张全景样本图像中的场景区域进行标注，得到第一训练样本集；

基于pytorch构建深度学习模型，根据所述第一训练样本集对所述深度学习模型进行模型训练，以使所述深度学习模型对每张全景样本图像中的多边形框进行检测，得到深度学习mask检测模型；

基于所述深度学习mask检测模型，对店铺的全景图像进行多边形检测，得到多个第二场景区域图像。

在一种可能的实现方式中，基于所述深度学习mask检测模型，对店铺的全景图像进行多边形检测，得到多个第二场景区域图像，具体包括：

将两张相同的全景图像进行拼接，得到全景拼接图像；