[发明专利]图像处理和对象建模方法与设备、图像处理装置及介质

说明书

本发明公开了图像处理和对象建模方法与设备、图像处理装置及介质。该图像处理方法包括：利用拍摄的至少一幅全景图像的几何关系，估计相机的位置、以及该全景图像上的匹配特征点的三维点坐标；对于每幅全景图像，基于该全景图像上的、特征轮廓属于特定类别的像素点中的边缘像素点所围成的轮廓，生成该全景图像的在三维空间中的平面轮廓；以及将拍摄每幅全景图像时的全景相机的位置的尺度和每幅全景图像的三维空间中的平面轮廓的尺度进行归一化。通过利用全景相机拍摄的全景图像，生成三维对象在三维空间中的平面轮廓乃至生成三维对象的3D模型，能够有效提高所生成的对象模型的分辨率。

技术领域

本发明涉及对象建模领域，尤其涉及图像处理和对象建模方法与设备、图像处理装置及介质。

背景技术

在对象建模领域，如何使得生成的对象模型具有高分辨率和/或高准确度是业界极力追求的目标。

对象建模可以实现用户足不出户(例如通过网络)即可浏览三维对象的2D和/或3D结构，并且，对象的3D建模可实现如同身临其境的效果，这在虚拟现实领域是一项非常重要的应用。

在对象建模领域，尤其是2D和3D建模领域，国内外的技术方案主要分为两大类：手动制作和自动化建模。

对于手动制作的方法，需要依赖大量的人工操作，对于对象的三维结构进行标识，并手动进行多个对象模型之间的拼接。手动制作一套三维对象的3D模型需要较长时间，因此大量的三维对象数据需要众多的人员来手动制作，人员成本过高，很难实际应用。

对于自动化3D建模的方法，目前大多数采用专业的3D扫描设备，可以直接获取单个对象的三维点云，然后进行三维点云的拼接，生成3D模型。但是，这种专业的3D扫描设备的图像采集设备精度不高，导致捕获的图像分辨率不高，致使生成的三维模型的分辨率不够高。而且，这种3D扫描设备通常价格昂贵，很难满足消费级应用的需求。

因此，如何得到高分辨率的采集图像，如何高效地处理采集的图像以便为对象建模提供高分辨率的建模准备数据、甚至如何使得提供的数据能够简化后续的模型生成过程，如何有效地提高所生成的对象模型的分辨率和/或准确性是本发明考虑要解决的技术问题。

发明内容

为了解决以上问题之一，本发明提供了一种图像处理和对象建模方法与设备、图像处理装置及介质。

根据本发明的一个实施例，提供一种图像处理方法，该图像处理方法包括：相机位置估计步骤，其中，利用拍摄的至少一幅全景图像的几何关系，估计在拍摄每幅全景图像时的全景相机的位置、以及每幅全景图像上的匹配特征点的三维点坐标，其中，每幅全景图像是针对一个三维对象拍摄的，每个三维对象对应于一幅或多幅全景图像；单图像平面轮廓生成步骤，其中，对于每幅全景图像，基于所述全景图像上的、轮廓特征属于特定类别的像素点中的边缘像素点所围成的轮廓，生成所述全景图像的在三维空间中的平面轮廓；以及尺度归一化步骤，其中，将所估计的在拍摄每幅全景图像时的全景相机的位置的尺度和每幅全景图像的在三维空间中的平面轮廓的尺度进行归一化，得到经过归一化的各全景图像的在三维空间中的平面轮廓。

可选地，相机位置估计步骤包括：利用拍摄的至少一幅全景图像的几何关系，进行所述全景图像之间的特征点匹配，并记录所述全景图像中互相匹配的特征点作为匹配特征点；以及通过对于每幅全景图像，减小所述全景图像上的匹配特征点的重投影误差，来得到拍摄每幅全景图像时的相机位置、以及所述全景图像上的匹配特征点的三维点坐标。

可选地，单图像平面轮廓生成步骤包括：基于全景图像上的像素点之间的特征相似度，确定所述全景图像上的、轮廓特征属于特定类别的像素点中的所述边缘像素点，其中，两个像素点的特征相似度为所述两个像素点的特征之差的绝对值，所述像素点的特征包括灰度、颜色。