[发明专利]基于多点扩散函数生成对抗网络的大景深成像方法及系统

说明书

本发明公开了基于多点扩散函数生成对抗网络的大景深成像方法及系统，包括以下步骤：步骤1：构建基于自动聚焦的多聚焦成像模型；步骤2：获取小景深多聚焦图像和大景深真值图像，构建数据集；步骤3：构建基于生成对抗网络的图像重建网络模型；步骤4：根据步骤2得到的数据集，对步骤3得到的网络模型进行训练；训练过程中基于反向传播梯度下降算法最小化损失函数；步骤5：将多聚焦图像输入步骤4得到的网络模型，即可得到重建的大景深图像；本发明具有简单、灵活、低成本的优点，缓解了景深与信噪比的之间制衡，提高了成像质量，能够满足各类场景的大景深成像需求。

技术领域

本发明涉及大景深成像方法技术领域，具体涉及基于多点扩散函数生成对抗网络的大景深成像方法及系统。

背景技术

大景深成像对于机器视觉和医学成像等应用是至关重要的。在光学成像中，球差、色差、慧差、畸变等像差影响了成像质量，其中球差是限制景深的主要因素。众所周知，理想的物像关系只有在傍轴近似条件下才是成立的，而实际的光学元件是不符合傍轴条件的。一个点物经过透镜聚焦后不再是一个点像，而是一个弥散斑，这就是球差的由来。在传统光学设计中，为了消除球差及扩展景深，减小光圈尺寸是最常见的方法，这种方法虽然可以扩展景深，但是减少了进入传感器的光通量，导致更多的图像噪声及更差的图像质量。组合透镜设计及复杂非球面透镜设计也是常见的景深扩展方法，但由于极其复杂的透镜设计及配准，其需要非常专业的光学设计及经验。

在光学成像中，点扩散函数对成像质量至关重要，它也决定了光学系统的景深大小。由退化图像重建大景深的理想像可表征为成像逆问题求解，关键在于点扩散函数的精确估计及鲁棒的反卷积计算。因此许多图像反卷积算法被提出重建图像，扩展景深，但因为点扩散函数高度依赖于光谱及物方深度，使得依靠单图像估计出的点扩散函数不精确，导致反卷积后的图像被引入伪影、噪点。

在数字图像处理中，多聚焦图像融合也是被广泛用于景深扩展的一种有效、低成本的技术，通过融合若干张部分聚焦图像获得大景深图像。如现有的融合算法使用深度学习算法学习清晰及模糊的特征提取，随后输出置信图用于后续图像融合。首先输入两张部分聚焦图像到设计的神经网络模型中，输出一对置信图，将其与相应的输入源图像点乘并将结果加权求和输出最终的大景深图像。但是，基于置信图的多聚焦图像融合本质上更像是一种分类任务，容易导致细节丢失，特别是在聚焦与非聚焦区域边界的附近。目前还有使用深度学习算法联合学习特征提取和融合规则，端到端地输出大景深的融合图像。虽然该方法能够很好的提取出输入源图像的聚焦区域，并将其融合为一张大景深图像。但是该方法没有考虑任何光学成像端的因素，高度依赖于图像信息，当所有输入源图像中的某一相同区域都是模糊的，算法对此区域失效，融合图像中的这一区域仍是模糊的，导致景深扩展受限。在实际成像中，由于算法与成像端之间的断层，使算法的表现不够鲁棒，成像质量的提升不够理想。并且多聚焦图像融合算法大多需要互补图像作为输入，互补图像包含场景中所有感兴趣的信息，这就需要精确对焦及多次拍摄，从而降低实际使用的效率。

发明内容

本发明提供一种可以解决多聚焦图像融合技术中存在的实际成像使用中效率低及景深扩展受限的问题以及缓解大景深与高信噪比之间的制衡的基于多点扩散函数生成对抗网络的大景深成像方法及系统。

本发明采用的技术方案是：

一种基于多点扩散函数生成对抗网络的大景深成像方法，包括以下步骤：

步骤1：构建基于自动聚焦的多聚焦成像模型；

步骤2：获取小景深多聚焦图像和大景深真值图像，构建数据集；

步骤3：构建基于生成对抗网络的图像重建网络模型；

步骤4：根据步骤1得到的数据集，对步骤2得到的网络模型进行训练；训练过程中基于反向传播梯度下降算法最小化损失函数；

步骤5：将多聚焦图像输入步骤3得到的网络模型，即可得到重建的大景深图像；