[发明专利]用于对三维表面的图像进行重建的方法、装置和系统

说明书

技术领域

本发明涉及三维表面图像重建领域，具体地涉及用于对三维表面的图像进行重建的方法、装置和系统。

背景技术

通过X光成像对三维对象的图像进行重现是医疗、安检、勘探等领域的热门话题。尤其是在医疗领域中，对成像的准确和精细程度有着相当高的要求。比如，在口腔科的临床实践中，需要所使用的口腔CT机能够准确的反映牙齿的形状、大小和纵深差异，从而使得医师能够更准确地进行手术，给患者减少不必要的痛苦。并且，对于牙齿整形来讲，如果能够重建更为精细、准确的口腔模型，则有助于在术前进行更为恰当的计划制定，并且还有助于进行术前术后对比，从而评估手术效果。

已经有很多科研人员在此方面进行了大量的研究。比如，B.S.Khambay等在“A pilot study:3D stereo photogrammetric image superimposition on to 3D CT scan images–the future of orthognathic surgery”一文中提出三维人脸扫描图像与CT骨骼组织和软组织贴合的方法；Gerard Medioni等在美国专利US8126261B2中提出了利用一系列二维图像进行三维人脸重建的方法；Jongmoo Choi等在“3D Face Reconstruction Using A Single or Multiple Views”一文中也提出一种利用脸部特征点识别重建三维人脸的方法。

然而，这些工作仍存在不尽人意之处。B.S.Khambay等方法设想依靠可见光表面扫描设备获得三维人脸图像，将其与CT获得软组织表面贴合得到最终结果。其实，CT图像的软组织表面实际上就是三维人脸表面，再利用可见光表面扫描设备获得三维人脸实际上做了重复性工作，同时两个三维表面的贴合过程无疑增加了标记点的定位难度。

Gerard Medioni及Jongmoo Choi提出的两种方法仅仅依赖面部一些特征点的三维定位对统一的三维人脸模型进行变形，得到的结果对个体的面部特征有一定的代表性，但一些细节比如鼻子等空间曲率较大结构相对精细的地方，特征点变形有时会得到奇怪的结果。以Jongmoo Choi的方法为例，图1A-1B中示出了Jongmoo Choi的论文“3D Face Reconstruction Using A Single or Multiple Views”中实现的三维人脸重建结果。文中的重建需要单张或者多张二维照片和一个一般的人脸模型，其主要工作是利用采集的图像特征点微调一般人脸模型，实现纹理映射得到三维人脸。图1A中示出的三张图是单视角配合一般人脸模型变形的三维人脸，图1B中示出的三张图是多视角估计特征点调整一般人脸模型后的三维人脸。明显看出图1A中，在鼻子附近存在明显畸变。在图1B中鼻子的重建虽然有所好转，但仍然不尽人意，并且该方法没能对下巴区域进行重建。

发明内容

为了解决现有技术中存在的上述问题，本发明提出了用于对三维表面的图像进行重建的方法、装置和系统。

根据本发明的一个方面，提出了一种用于对三维表面的图像进行重建的方法，包括：a1)利用对所述三维表面进行X光成像的X光成像数据，构建所述三维表面的三维模型，并提取特征点的三维坐标参数；a2)利用对所述三维表面进行可见光成像的可见光成像数据，构建所述三维表面的一个或多个二维姿态图像，并从每个二维姿态图像提取特征点的二维坐标参数；b)通过对每个二维姿态图像中的特征点的三维坐标参数与二维坐标参数进行匹配，建立所述二维姿态图像与所述三维模型之间的映射关系；以及c)利用针对每个二维姿态图像分别建立的映射关系，将所述一个或多个二维姿态图像填充到所述三维模型上，形成重建的三维表面图像，其中，所述三维表面的相同方位的X光成像数据和可见光成像数据是同步捕获的。

优选地，步骤a1)中的构建所述三维表面的三维模型包括：利用所述X光成像数据构建所述三维表面的体素模型；逐层提取体素模型的轮廓，以得到三维表面点云；建立三维表面点云的连接关系，构建所述三维表面的三维模型，所述三维模型是三维网格模型。

优选地，所述可见光成像数据包括在所述三维表面的不同方位产生的一系列二维初步图像，以及步骤a2)中的构建所述三维表面的一个或多个二维姿态图像包括：通过提取初步特征点的相对位置确定每个二维初步图像所对应的姿态；根据每个二维初步图像所对应的姿态，从所述一系列二维初步图像中选出所述一个或多个二维姿态图像。

优选地，所述初步特征点是从所述特征点的集合中选择的。