[发明专利]用于生成超分辨率图像的方法和相关设备

说明书

提供了一种用于生成超分辨率图像的方法和相关设备。在一个方面，该方法包括：接收第一低分辨率图像和第二低分辨率图像，第一和第二低分辨率图像具有第一空间分辨率并且已经被共同的图像传感器的成对的像素阵列同时捕获，其中图像传感器的像素阵列被定位成彼此以对角线移位子像素增量；自适应地增强第一和第二低分辨率图像以分别生成增强第一低分辨率图像和增强第二低分辨率图像；将增强第一和第二低分辨率图像的每个的像素(例如，非均匀地)映射到具有大于第一空间分辨率的空间分辨率的超分辨率网格以分别生成第一中间超分辨率图像和第二中间超分辨率图像；以及组合第一和第二中间超分辨率图像以生成复合超分辨率图像。

相关申请的交叉引用

本申请要求于2019年3月25日提交的美国临时申请第62/823,591号的优先权，其整体内容通过引用合并且于此。

技术领域

本公开涉及图像处理，较具体地涉及用于空间分辨率增强的方法和设备，更具体地涉及用于生成超分辨率图像的方法和相关设备。

背景技术

线扫描相机具有对整个物体成像的一个或更多个像素线。线扫描相机可用于通过垂直于像素线移动相机或物体、在每个位置捕获线并组合线来创建物体的二维图像。

经由线扫描相机的图像的获取和分析是由机器视觉应用执行的，以确定用于控制或评估处理的特定度量。在线扫描相机的大多数机器视觉应用中期望高分辨率图像，因为附加细节对于更精确的分析会是有用的，甚至是必要的。但是，此任务所需的高精度光学装置和图像传感器的成本通常过高。

一种增大空间分辨率的方法是减小传感器像素尺寸，从而增大每单位面积的像素数量，而不改变图像感测电路和图像处理电路所形成在的裸片的尺寸(也称为芯片尺寸)。可以捕获的光量减少。这导致噪声增大以及其他缺点，例如灵敏度降低。另一种方法是在保持相同信噪比而增大芯片尺寸的同时增大空间分辨率。但是，增大芯片尺寸也会增大电容。这可能导致进一步的困难，例如加快电荷耦合器件(CCD)中电荷包的电荷传输速率，从而限制了设备的速度。

鉴于前述问题，已经越来越依赖于基于软件的图像处理技术来至少解决一些前述问题。一种方法，称为超分辨率，是指通常通过组合从图像捕获设备生成的多个欠采样的低分辨率图像中包含的信息来将图像的分辨率增强到超出图像捕获设备固有的分辨率。当前，在空间域和频率域中的许多超分辨率增强算法都依赖于组合来自同一场景的三个或更多个子像素移位的低分辨率图像的信息。在此类算法中，重点通常放在以下步骤上：例如在多个低分辨率图像之间进行运动估算，建立数学模型以非均匀地内插扩展像素，表征低分辨率图像之间的混叠关系并且反复进行反投影。现有算法通常复杂并且可能需要相当大的处理能力和时间，这可能会降低线扫描速率。此外，通过要求至少三个或更多个低分辨率图像，任何这样的算法可能都不具有成本效益，特别是对于线扫描相机应用而言。

发明内容

本公开提供了一种用于图像空间分辨率增强的方法。根据本公开的方法，从一对低分辨率图像生成超分辨率图像。可以相信，本公开的方法可以至少部分地克服生成超分辨率图像的现有解决方案的一些缺点。例如，本公开的方法可以提供用于生成具有较不严格的成像光学器件或感测硬件要求的超分辨率图像的相对低成本和有效的方式。例如，许多先前不能用于超分辨率图像生成的现有低分辨率图像系统可能能够利用本公开的方法用于超分辨率图像生成。另外，使用较少的低分辨率图像的计算强度也较小，导致更高的处理速度和吞吐量。此外，本公开的方法可以提高成像装置的分辨能力，并且具有为至少一些线扫描相机应用提供优于竞争产品的显著的价值优势的潜力。