[发明专利]基于深度残差神经网络的非视域成像方法

说明书

本发明提出了一种基于深度残差神经网络的非视域成像方法，解决现有非视域成像方法成本高昂、捕获时间长、分辨率低的问题，该方法减少了捕获时间、提高了图像质量。该基于深度残差神经网络的非视域成像方法，包括以下步骤：步骤一、合成训练数据集图像对；步骤二、获取输出原图估计图像；步骤三、构建目标损失函数；步骤四、对目标损失函数进行迭代优化求解，使得目标损失函数达到稳定状态，得到自相关图到原图的映射，残差神经网络模型训练完成；步骤五、采集激光散斑图，对激光散斑图做自相关运算；步骤六、将自相关激光散斑图输入训练好的残差神经网络，生成非视域目标图像。

技术领域

本发明属于非视域成像领域，具体涉及一种基于深度残差神经网络的非视 域成像方法，可用于应急救援和自动驾驶等领域。

背景技术

非视域成像(Non-Light-of-Sight Imaging)技术是针对隐藏目标进行成像的 技术。由于其能够对视域外的目标进行成像，可以应用于一些特殊场景。在紧 急救援、自动驾驶等领域，人眼和传统成像设备有时会受到遮挡或阻碍，视线 区域受到限制，存在一定的视觉盲区。传统的光学成像技术是通过探测器对视 线区域内的场景成像，无法探测视线以外的区域，如墙体拐角后面、烟雾后面 的物体等。例如，在自动驾驶中，可以检测公路拐角处不可直接观测到的物体， 使自动驾驶车辆提前感知路况，从而避免碰撞。在紧急救援(如火灾和地震) 任务中，救援队员不需要进入危险环境就可以检测和定位目标，使救援行动更 加安全和高效。

现有非视域成像的方法主要包括以下三类：

第一类为基于飞行时间的非视域成像方法，该方法为目前的主流方法。A. Velten等人在文献“A.Velten,T.Willwacher,O.Gupta,A.Veeraraghavan,M. G.Bawendi,andR.Raskar,“RecoveringThree-Dimensional Shape around a Corner Using UltrafastTime-of-Flight Imaging,”Nature Communications,vol.3,no.1,pp. 1-8,2012”中提出了使用高时间分辨率激光脉冲和条纹相机，结合飞行时间技术 和计算重建算法，解码多次漫反射后的光子信息。该方法中，演示了一种三维 范围的相机，它能够使用漫反射光环顾一个角落，在超过40厘米×40厘米×40 厘米的隐藏空间达到亚毫米的深度精度和厘米的横向精度。在非视域成像的众 多工作中，基于飞行时间的技术是最受欢迎的，因为它们能够解析携带隐藏场 景信息的光子三步反射的路径长度。但是基于飞行时间的测量方法硬件成本高 昂，捕获时间长，难以投入大规模实际应用。

第二类为基于相关属性的非视域成像方法，虽然隐藏目标的信息很大程度 上被中继墙上光子的漫反射所丢失，但是光的某些相关特性仍然保留了下来。 基于相关的方法利用散斑模式或空间相干来观察拐角。散斑图是相干光波干涉 产生的强度波动。虽然斑点图案看起来是随机的，但是观察到的图案编码了隐 藏场景的信息。O.Katz等人在“O.Katz,P.Heidmann,M.Fink,andS. Gigan,“Non-Invasive Real-Time Imaging ThroughScattering Layers and around Corners via Speckle Correlations,”NaturePhotonics,vol.8,no.3,2014.”中表 明，由于散斑相关性的“记忆效应”，使用标准相机捕获的单个高分辨率散射光 高分辨率图像可编码足够的信息，以通过视觉上不透明的层和绕过拐角的图像 进行分辨率有限的成像。虽然这种方法实现了有限衍射分辨率，但由于记忆效 应，其视场受到了限制。