[发明专利]基于物理驱动的神经网络透过散射介质的彩色泛化成像方法

说明书

本发明公开一种基于物理驱动的神经网络透过散射介质的彩色泛化成像方法，包括建立一个物理模型与神经网络模型互驱动的神经网络、建立一个用于采集实验图像数据的系统配置，将采集到的图像数据经过预处理后送进神经网络进行图像复原重建。本发明将基于散斑相关和散斑冗余性物理先验和多通道卷积神经网络强大的数据挖掘和映射能力的有效结合，仅利用一块介质的散斑数据即可实现透过未知散射介质的多光谱复杂目标等情况下，实现对目标的高质量恢复，有力地推动了物理感知学习方法在实际散射场景中的成像泛化成像。该方法更加充分的利用了散斑的原始信息，对实际散射场景复杂多变、目标信息特性复杂和数据难以充分获取任务。

技术领域

本发明属于计算成像领域，具体涉及一种基于物理驱动的神经网络透过散射介质的彩色泛化成像方法。

背景技术

经过散射介质的随机调制，目标信息退化为不在具有原始的空间结构信息的散斑图案，同时目标空间位置对应的光谱信息也随着散射过程被打乱。如何对散射退化后的目标进行恢复并同时还原物体对应的颜色信息，是一个非常具有挑战的问题。同时，在医疗观测和实际场景中，散射场景大都是不稳定的，如何在未知的散射场景对退化目标进行重建是计算成像领域的研究热点之一。我们生活的现实世界是一个具有多波段光谱信息并存的环境，光谱等颜色信息也包含了重要的目标特征，对目标特性的分析至关重要，比如生物组织成像的病变判别。同时对散射退化后的颜色信息结合空间结构特征进行有效地还原，进一步增加了透过散射介质成像的难度，因此准确恢复散射退化目标的对应颜色信息也是计算成像领域中一个亟待解决的问题。

目前已经有一些散射成像计算方法来恢复散射退化后的目标，主要包括相干门控法、基于波前整形的方法、基于传输矩阵的方法、基于单像素成像的方法、基于点扩散函数的方法和基于光学记忆效应的散斑相关方法。但是以上方法大都聚焦在固定的窄波段目标重建，在多光谱散射计算成像方面主要有基于点扩散函数的方法和基于散斑相关(光谱编码和压缩感知)技术的成像方法。基于点扩散函数法需要对系统进行侵入式的标定，获取系统的光谱信息，并且要求彩色目标波段相对独立。基于光谱编码和压缩感知的散斑相关方法，通过色散棱镜将多光谱散斑信息进行编码和解码，在基于记忆效应范围内应用散斑相关原理对目标进行恢复。以上方法无法直接从获取的多光谱散斑直接恢复目标信息，对动态多变的实际场景中的复杂目标无法进行有效地恢复。

随着深度学习等人工智能技术的飞速发展，深度学习依托其强大的数据挖掘能力，在计算成像领域有着广泛的应用场景，并取得了令人印象深刻的成像结果。尤其是在一些复杂的逆问题中，依托于数据驱动的学习模型，可以通过大量数据中寻找复杂成像问题中最优解，甚至得到比传统计算成像更高质量的结果。透过散射介质成像是深度学习成功应用的一个典型的逆问题优化求解热点。利用深度学习求解散射成像问题在窄波段的求解取得了快速的发展，针对传统散射计算成像方法中一系列问题，利用深度学习在许多领域都取得了突破性进展，比如目标复杂度高、大视场、大景深、动态散射介质和宽谱段响应等各种复杂散射条件。

基于深度学习在光学相关领域的研究也呈现指数式的增长，同时关于深度学习是否学习到有用的特征以及泛化能力也存在相关的质疑，其中讨论较多的问题之一就是神经网络模型的场景泛化问题。纯数据驱动的计算成像学习方法对训练数据依赖性也相对较高，成像模型的泛化能力一直是使用深度学习各个成像领域中都在讨论的热点问题。应用于未知散射场景的成像的方法，大都依赖大量的训练数据集和专门设计的复杂神经网络结构，并且成像目标的稀疏性、成像质量和未知散射场景相似度要求等问题都限制了该方法的泛化能力。具体到散射计算成像领域，也是希望神经网络可以学到尽可能多的物理过程，来完成相应物理问题的解决。将物理先验信息在神经网络训练之前告知学习的目标过程中，也是一个行之有效方法之一。结合物理过程，将神经网络嵌入到物理任务之中在许多领域也有了令人印象深刻的工作和结果，比如显微成像自适应编码光源调整和3D的分步测量计算等方法。基于物理驱动神经网络的工作可以有效地解决上述工作中的大部分问题，但是成像谱段较窄，并且对于复杂的目标需要相对较多散射场景作为训练数据才能够对复杂目标进行有效地恢复。因此如何实现在有限的散射场景数据情况下，对多波段复杂目标进行准确目标恢复是将散射计算成像技术推向实际应用场景的重要因素。