[发明专利]一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法

说明书

本发明公开了一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法。用带IMU传感器的智能手机绕着裸脚拍摄360度获取脚型视频和对应的IMU数据，通过建立因子图，把摄像机姿态、三维点云坐标、IMU数据、视频轮廓等已有的各种数据做为因子，通过定义各个因子之间的约束误差方程并进行求解而得到摄像机参数，引入参考模型进行脚型重建。充分利用参考模型的点云分布、法向量、表面曲率等信息引导重建脚型的形变，使之在不偏离重建点云的情况下，尽量接近真实脚型，减小噪声点的干扰，从而实现一个方便地得到对应的脚型三维网格模型的过程。既降低了脚型数据的获取成本，又不失参数计算的精确性和鲁棒性。

技术领域

本发明涉及一种三维重建方法，尤其涉及一种基于带摄像机和传感器的智能手机通过采集脚型RGB视频和传感器数据并结合数据库中的参考脚型模型进行三维脚型数据获取的方法。

背景技术

近两年对结合传感器和三维重建算法的研究越来越多，产生了大量高质量的三维重建算法，迅速提升了基于移动终端的三维重建技术。对三维重建算法进行总结，可以将基于移动终端的三维重建算法大致分为如下几类：基于深度图融合的三维重建、基于IMU和视觉融合的三维重建、基于光照条件和激光扫描等其它传感器的三维重建。

基于深度图融合的三维重建，由深度传感器记录拍摄场景的深度信息，然后根据SFM算法或其它算法计算摄像机参数，并用该摄像机参数恢复三维空间坐标点并反投影到视频上，最小化反投影误差，如主要研究深度图的融合过程，即利用高斯模型或其它数据模型对同时摄像机参数和三维点云进行约束，过滤掉偏差较大的值。另一种算法是由建立体素，根据各个角度的深度图及摄像机参数计算当前位置的深度并进行融合，最后形成目标物体的体积网格。但这种方法运行时需要占用大量的内存，计算速度慢，不利用在线实时重建。

基于IMU和视觉融合的三维重建，比较成熟的算法中，主要考虑到视觉三维重建算法对纹理要求高的缺点，利用IMU单元的陀螺仪和加速计记录移动设备的朝向和加速度，并假设噪声服从高斯分布，借助Kalman滤波对IMU数据进行预测，得到视频对应的摄像机参数，并融入到视觉算法中，由计算的三维坐标点和二维特征点之间、两幅视频的二维特征点之间的约束关系统一优化摄像机参数。在此基础上，Adrian等人加入了闭环检测优化姿态跟踪，即假设移动设备在拍摄过程中的移动成环形封闭，利用最后一帧视频和初始帧视频部分重叠的性质进一步约束摄像机参数以提高其精确度。

基于光照条件和激光扫描等其它传感器的三维重建，借助高级设备如激光传感器对目标重建物体进行扫描融合得到对应的三维模型。除此之外还有利用光源信息进行重建的算法，即利用光源传感器对目标重建物体从不同角度拍摄，或从同一角度用不同的光照拍摄，在光源信息已知的情况下通过拍摄视频RGB值及光源方向、物体表面法向量等的代数约束重建目标物体。此类方法尽管能够达到比较高的重建精度，但由于数据采集费用大，操作麻烦，不适用于一般性的重建中。

针对于脚型重建的科学研究则比较少。更多的是在医学研究上，用CT(ComputedTomography)电子计算机断层扫描视频对脚型进行三维重建以观察脚内部的病变情况，如用Laplacian表面形变框架对由CT视频重建出来的模型进行形变，但需要用户手工输入各项参数，而且仅限于医学研究领域，昂贵的CT拍摄设备及对用户的相关专业知识的高要求都使得基于CT视频的三维重建技术无法应用到普通用户的生活中。相对于室外场景，脚型的大小要求重建的误差足够小，因此很多室外场景的三维重建技术甚至室内的三维重建算法都因误差较大不适用于脚型重建。小误差的重建技术中激光扫描的重建效果最好，如结合轮廓、激光和视觉技术对脚型进行测量，得到的脚型参数误差可以达到5mm以内，或是对一系列利用结构光进行激光扫描重建三维脚型的技术进行对比，给出了利用激光扫描所能达到的精度范围。但激光扫描设备的昂贵也使得基于激光的重建技术无法普及。考虑到脚型模型在行走时与静止时的差异，给出了在行走状态下对脚型各项参数的测试方法，同样需要固定的大型设备。