[发明专利]一种基于深度学习的VR智能巡店方法及装置

权利要求书

1.一种基于深度学习的VR智能巡店方法，其特征在于，包括：

获取店铺的全景图像及多个第一场景区域图像；

基于预训练的深度学习mask检测模型对所述全景图像中的场景区域进行检测，得到多个第二场景区域图像；

基于预训练的深度学习框检测模型分别对所述多个第一场景区域图像进行检测，得到每个第一场景区域图像对应的商品信息；

通过局部区域匹配算法计算所述第一场景区域图像和所述第二场景区域图像之间的相似度，并基于所述相似度，构建相似度矩阵；

基于预设匹配算法对相似度矩阵进行匹配，得到所述第一场景区域图像和所述第二场景区域图像的最优匹配对；

实时检测展示中的所述全景图像中的第二场景区域图像，基于所述最优匹配对，获取所述第二场景区域图像对应的第一场景图像，并实时展示第一场景区域图像及其对应的商品信息。

2.如权利要求1所述的一种基于深度学习的VR智能巡店方法，其特征在于，基于预训练的深度学习mask检测模型对所述全景图像中的场景区域进行检测，得到多个第二场景区域图像，具体包括：

获取店铺的大量的全景样本图像，采用多边形框对每张全景样本图像中的场景区域进行标注，得到第一训练样本集；

基于pytorch构建深度学习模型，根据所述第一训练样本集对所述深度学习模型进行模型训练，以使所述深度学习模型对每张全景样本图像中的多边形框进行检测，得到深度学习mask检测模型；

基于所述深度学习mask检测模型，对店铺的全景图像进行多边形检测，得到多个第二场景区域图像。

3.如权利要求1所述的一种基于深度学习的VR智能巡店方法，其特征在于，基于所述深度学习mask检测模型，对店铺的全景图像进行多边形检测，得到多个第二场景区域图像，具体包括：

将两张相同的全景图像进行拼接，得到全景拼接图像；

基于所述深度学习mask检测模型，对所述全景拼接图像进行多边形检测，得到多个多边形区域图像；

获取所有多边形区域图像对应的所有横坐标点，将每个横坐标点对应的第一数值减去单张全景图像的宽度，得到每个横坐标点对应的第二数值；

若存在单张多边形区域图像中所有横坐标点对应的第二数值均大于零，则删除所述多边形区域图像；

若存在单张多边形区域图像中存在部分横坐标点对应的第二数值大于零，则认为所述多边形区域图像为被切割图像，保存所有被切割图像，生成第一图像区域集合；

若存在单张多边形区域图像中所有横坐标点对应的第二数值均小于零，则认为所述多边形区域图像为场景区域图像，保存所有场景区域图像，生成第二图像区域集合；

获取所述第一图像区域集合中所有被切割图像对应的横坐标点的第二数值，若所述第二数值小于零，则将小于零的所有第二数值设置为零，生成第三图像区域集合；

遍历所述第二图像区域集合中的每张场景区域图像，计算所述每张场景区域图像分别与所述第三图像区域集合中每张被切割图像的交并比，若所述交并比大于预设阈值，则删除所述第二图像区域集合中所述交并比对应的场景区域图像，直至遍历完所述第二图像区域集合，生成第四图像区域集合；

计算所述第一图像区域集合与所述第四图像区域集合的并集，基于所述并集，得到多个第二场景区域图像。

4.如权利要求1所述的一种基于深度学习的VR智能巡店方法，其特征在于，基于预训练的深度学习框检测模型分别对所述多个第一场景区域图像进行检测，得到每个第一场景区域图像对应的商品信息，得到多个第二场景区域图像，具体包括：

获取店铺的大量的场景区域样本图像，采用矩形框对每张场景区域样本图像中的商品进行标注，得到第二训练样本集；

构建深度学习模型，根据所述第二训练样本集对所述深度学习模型进行网络权值优化，以使所述深度学习模型对每张场景区域样本图像中的矩形框进行检测，得到深度学习框检测模型；

基于所述深度学习框检测模型分别对店铺的所述多个第一场景区域图像进行商品信息检测，得到每个第一场景区域图像对应的商品信息，其中，所述商品信息包括所有商品的图像位置坐标，商品的类别信息，商品所在的层及层位置。