[发明专利]基于红外热像仪与深度相机的便携式三维温度场重建系统

权利要求书

1.一种基于红外热像仪与深度相机的便携式三维温度场重建系统，其特征在于包括：主处理单元、温度信息采集单元以及三维点云信息采集单元；其中主处理单元利用所包含的GPU器件实现对数据的处理与软件的运行；温度信息采集模块实现对物体表面温度信息的采集；三维点云信息采集模块实现对物体表面三维空间信息的采集，物体表面温度信息和物体表面三维空间信息传输至主处理单元进行处理，将处理后的信息通过可视化上位机进行显示；

其中，主处理单元实现对数据的处理与软件的运行，对数据的处理包括以下步骤：

信息采集单元参数标定：把信息采集单元采集到的初始数据进行预处理时空标定；

位姿估计：将颜色信息与深度信息进行处理，得到传感器相对于目标物体的位置和方向即位姿；

数据存储：将信息采集单元采集到的海量数据，通过TSDF体集成算法把图像的深度信息和位姿进行结合，得到目标物体表面在TSDF空间的距离信息；

模型表面提取：将隐含表示物体表面的距离数据转换为能进一步处理的三维点云数据；

表面重建：通过提取出的物体表面的三维点云数据，利用PCL点云库下的表面重建算法进行三维温度场模块重建，将目标物体表面的点云信息转换成可以用于可视化软件显示的致密的网格表面，最终输出目标物体表面的ply格式的网格模型，具体为：

对于已得到的三维点云坐标，根据其对应体素的RGB值与红外温度值对其进行赋值即可以得到颜色点值，最后将所有的体素都进行遍历处理就可以得到物体表面的颜色点云数据，并最终将这些数据用于物体致密模型的表面重建过程；

表面重建算法中曲面重建的过程随着物体表面点云的提取不断的增量时进行，利用贪婪投影三角化算法实现，

先将有向点云投影到某一局部二维坐标平面内，再在坐标平面内进行平面内的三角化，再根据平面内三位点的拓扑连接关系获得一个三角网格曲面模型，从而得到各点之间的连接关系；

基于Delaunay的空间区域增长，通过选取某个样本三角片作为初始曲面，不断扩张曲面边界，最后形成一张完整的三角网格曲面；

最后根据投影点云的连接关系得到原始三维点间的拓扑关系，所得三角网格即为重建得到的曲面模型。

2.按权利要求1所述的基于红外热像仪与深度相机的便携式三维温度场重建系统，其特征在于：所述信息采集单元参数标定，是对相机传感器内在误差、硬件系统外部误差以及数据采集的时间误差的校正，建立其相机成像物理模型所对应的数学模型：

其中，u，v表示的是图像坐标系(u,v)，dx、dy为转换因子，Z_C表示的是相机坐标系(X_C,Y_C,Z_C)中的Z轴，X_W，Y_W，Z_W表示的是世界坐标系(X_W,Y_W,Z_W)，f_x、f_y、R、α、β为待标定参数，M₁为内参数矩阵，M₂为外参数矩阵，为矩阵[X_W,Y_W,Z_W]^T，u0,v0为像素平面坐标系(u,v)的中心，0T为0矩阵的转置，旋转矩阵R和平移矩阵，t为相机的外部参数，R为3*3矩阵，t为3*1矩阵，0为(0，0，0)。

3.按权利要求1所述的基于红外热像仪与深度相机的便携式三维温度场重建系统，其特征在于：位姿估计中颜色信息是将加权后的RGB图像信息和红外图像信息与深度信息进行处理，具体为：将时空标定后的RGB图像和时空标定后的红外图像进行加权处理；

加权处理后的图像再与标定后深度图像通过ICP算法对相近的两幅深度图像进行迭代变换估计，得到前一帧图像和后一帧图像颜色信息的权值ω和深度信息的距离d；

时空标定后的红外图像与位姿和深度信息经过一系列的坐标变换，放到TSDF体中。

4.按权利要求1所述的基于红外热像仪与深度相机的便携式三维温度场重建系统，其特征在于模型表面提取是通过TSDF体集成算法把图像的深度信息和位姿进行结合，得到目标物体表面在TSDF空间的隐式的距离信息；将目标物体表面在TSDF空间的隐式的距离信息转换成显式的、计算机可识别的点云信息，具体为：

从第一个体素点开始，依次判断前后两个体素中所存储的TSDF值的变号情况，当遇到变号，则保存当前体素的坐标值，并取得当前体素坐标对应的RGB体数据的值与红外体数据的值；

对于已经保存的坐标值(x,y,z)，根据预先设定的分辨率以及体数据的大小求得这个体素坐标对应的现实世界的顶点坐标(V_x,V_y,V_z),然后保存该体素中的TSDF值F_n，再按照当前帧实现方向，分别取得体素坐标的顶点坐标以及该体素给所存储的TSDF值；

对于已经得到的体素利用如下公式做三线性插值求得x、y、z方向的坐标即为提取得到的表面的三维点云坐标信息(p_x,p_y,p_z)：