[发明专利]图像修补方法、设备及介质

说明书

公开了图像修补方法、设备及介质。所述方法包括：分别基于对于同一个空间拍摄得到的第一全景图像和第二全景图像，确定第一组三维布局图和第二组三维布局图，其中第一全景图像和第二全景图像的拍摄位置不同；在第一组三维布局图中，确定目标对象所位于的一张图像作为待修补图像，并且在第二组三维布局图中，确定目标对象所位于的一张图像作为参考图像，其中当拍摄第一全景图像时目标对象在空间中的位置与当拍摄第二全景图像时目标对象在空间中的位置不同；在参考图像中，确定与待修补图像中包含目标对象的区域匹配的、不包含目标对象的经匹配区域；以及通过以参考图像中的经匹配区域替换待修补图像中的包含目标图像的区域，生成经修补图像。

技术领域

本公开涉及计算机视觉的领域，更具体地说，涉及全景相机视觉的图像修补领域。

背景技术

在全景视觉领域中，在拍摄得到的全景图中，或者在基于全景图转换得到的三维布局图(如，房屋的三维布局)中，常常会出现诸如用于拍摄全景图的相机、意外进入的人等不应属于所拍摄的三维空间的对象。然而，全景图或三维布局图中的这种对象的存在看起来非常突兀。因此，如何删除全景图或三维布局图中的不期望存在的对象在是计算机视觉领域中引起了广泛关注。目前现有的修补方法的问题在于，修补后的区域常常会丢失纹理，且运算量大。

发明内容

鉴于以上情形，期望提供能够恢复细节纹理且处理过程轻量化的图像修补方法、设备和介质。

根据本公开的一个方面，提供了一种图像修补方法，包括：分别基于对于同一个空间拍摄得到的第一全景图像和第二全景图像，确定第一组三维布局图和第二组三维布局图，其中所述第一全景图像和所述第二全景图像的拍摄位置不同，所述第一组三维布局图和所述第二组三维布局图均包括能够体现出所述空间的结构的多张图像；在第一组三维布局图中，确定目标对象所位于的一张图像作为待修补图像，并且在第二组三维布局图中，确定所述目标对象所位于的一张图像作为参考图像，其中当拍摄所述第一全景图像时所述目标对象在所述空间中的位置与当拍摄所述第二全景图像时所述目标对象在所述空间中的位置不同；在所述参考图像中，确定与所述待修补图像中包含目标对象的区域匹配的、不包含所述目标对象的经匹配区域；以及通过以所述参考图像中的经匹配区域替换所述待修补图像中的包含所述目标图像的区域，生成经修补图像。

另外，在根据本公开实施例的方法中，在所述参考图像中，确定与所述待修补图像中包含目标对象的区域匹配的、不包含所述目标对象的经匹配区域，包括：确定所述目标对象在所述待修补图像和所述参考图像中的第一位置和第二位置；分别在所述待修补图像和所述参考图像中，确定包含所述第一位置和所述第二位置的重叠区域，作为第一匹配区域和第二匹配区域；在所述第一匹配区域与所述第二匹配区域之间进行特征点匹配，以确定变换矩阵；基于所述变换矩阵，将所述第二匹配区域变换为第三匹配区域；以及通过在所述第三匹配区域中，去除包含所述目标对象的区域，来生成所述经匹配区域。

另外，在根据本公开实施例的方法中，基于所述第一位置和所述第二位置，分别在所述待修补图像和所述参考图像中，确定包含所述第一位置和所述第二位置的重叠区域，作为第一匹配区域和第二匹配区域，包括：在所述待修补图像中，标注所述第二位置，确定以所述第一位置为中心的第一区域和以所述第二位置为中心的第二区域，并将所述第一区域和所述第二区域的重叠区域作为所述第一匹配区域；以及在所述参考图像中，标注所述第一位置，确定以所述第一位置为中心的第三区域和以所述第二位置为中心的第四区域，并将所述第三区域和所述第四区域的重叠区域作为所述第二匹配区域。

另外，在根据本公开实施例的方法中，确定以所述第一位置为中心的第一区域和以所述第二位置为中心的第二区域，包括：以所述第一位置为中心，以所述第一位置和所述第二位置的连线为对角线方向，且以所述第一位置和所述第二位置之间的距离与第一系数的乘积作为对角线长度的一半，绘制矩形作为所述第一区域；以及以所述第二位置为中心，以所述第一位置和所述第二位置的连线为对角线方向，且以所述第一位置和所述第二位置之间的距离与第二系数的乘积作为对角线长度的一半，绘制矩形作为所述第二区域。