[发明专利]一种基于卷积神经网络的虚拟物显示方法及装置

说明书

本申请公开了一种基于卷积神经网络的虚拟物显示方法及装置，该方法包括：获取摄像机当前时刻所拍摄的每帧画面，针对每帧画面中的任一帧画面，将该帧画面与目标画面输入预先建立的卷积神经网络模型，输出该帧画面与目标画面的四个顶点坐标之间的偏差，当每帧画面与目标画面的四个顶点坐标之间的偏差小于阈值，则显示虚拟物。通过上述方法，可以有效的确定出摄像机的当前时刻的影像是否没有到达指定的位置。

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于卷积神经网络的虚拟物显示方法及装置。

背景技术

在计算机视觉领域中，包含同一对象的任意两幅图像通过单应性联系在一起，而通过确定两幅图像的单应性矩阵可以广泛的应用到人们的实际生活中，如，图像校正、图像对齐以及相机防抖等。

目前，在不同的相机姿态下，同一个对象所产生的图像内容会有所不同，但是仍然存在着局部对应的像素，可以利用局部对应的像素来确定包含同一对象的任意两幅图像对应的单应性矩阵。

具体的，在现有技术中，主要使用MS-COCO数据集中的图片来生成实验所需的128*128的图像数据，使用两幅图像相对应的四对顶点(8个横纵坐标)的相对偏移量作为标签，训练基于卷积神经网络的VGG-style网络的部分参数，后续，可利用训练好的VGG-style网络确定包含同一对象的两幅的图像对应的单应性矩阵。

但是，现有技术在生成数据时，没有充分考虑图像内部发生的变化，包括亮度变化以及内部扰动的常见的情况，使得在使用VGG-style网络确定包含同一对象的两幅的图像对应的单应性矩阵的精度较低。

发明内容

本申请实施例提供一种基于卷积神经网络的虚拟物显示方法及装置，能够有效的确定出摄像机的当前时刻的影像是否没有到达指定的位置。

本申请实施例提供的一种基于卷积神经网络的虚拟物显示方法，包括：

获取摄像机当前时刻所拍摄的每帧画面；

针对每帧画面中的任一帧画面，将该帧画面与目标画面输入预先建立的卷积神经网络模型，输出该帧画面与目标画面的四个顶点坐标之间的偏差；

当每帧画面与目标画面的四个顶点坐标之间的偏差小于阈值，则显示虚拟物。

优选地，在将该帧画面与目标画面输入预先建立的卷积神经网络模型之前，所述方法还包括：

制作训练图像集，其中，所述训练图像集包括至少一对存在单应性对应关系的矩形图像，初始化待训练的卷积神经网络模型内的各权重参数，将所述至少一对存在单应性对应关系的矩形图像输入待训练的卷积神经网络模型，根据待训练的卷积神经网络模型输出的所述至少一对存在单应性对应关系的矩形图像的顶点坐标的偏差以及所述至少一对存在单应性对应关系的矩形图像的顶点坐标训练所述待训练的卷积神经网络模型内的各权重参数，得到卷积神经网络模型。

优选地，所述至少一对存在单应性对应关系的矩形图像均为灰度图像，和/或所述至少一对存在单应性对应关系的矩形图像包括图像的中心点且尺寸相同。

优选地，该方法包括：对所述至少一对存在单应性对应关系的矩形图像中的一幅矩形图像的亮度、模糊度、噪声和子图像位置中的至少一者进行扰动。

优选地，所述卷积神经网络模型内的最后一个池化层的核大小为4x4，所述卷积层的卷积核的通道数为64。

优选地，按照随机梯度下降法将所述训练图像集中的存在单应性对应关系的矩形图像输入所述待训练的卷积神经网络模型，根据待训练的卷积神经网络模型输出的所述训练图像集中的存在单应性对应关系的矩形图像的顶点坐标的偏差，以及所述训练图像集中的存在单应性对应关系的矩形图像的顶点坐标的顶点坐标之间的差值，构建损失函数，直至损失函数符合预先设定的模型精度值。