[发明专利]基于深度神经网络的红外热成像超分辨率仪器

说明书

本发明提出了一种基于深度神经网络的红外热成像超分辨率仪器。该方法采用深度神经网络算法，使低清晰度的图片向高清晰度的图片学习，在不改变红外热成像设备的物理结构的前提下学习转换规律，使之输出更清晰的图像。本发明实现了采用该方法后的红外热成像系统的拍摄效果更清晰、速度快、成本低且该模块体积小、算法技术先进、可更新性强。

技术领域

本发明涉及机器学习和红外技术，特别涉及一种基于深度神经网络的红外热成像超分辨率仪器。

背景技术

红外热成像的高精度传感器制作工艺复杂、成品率低、价格昂贵，不利于红外热成像向高精度发展的脚步。现在红外热成像图片处理领域的热门方向是怎样有效对于热成像中的低分辨率红外图片的细节信息提取、分析和拟合，然后通过低像素红外图像向高像素红外图像学习的关系。目前，大多数的超分辨率技术都是针对可见光图像和灰度图设计的，但是红外热成像相关的超分辨率目前还在探索阶段。

随着机器学习在光学相关问题上取得了巨大成功，也有学者思考了关于深度神经网络应用在图像超分辨率方面的工作。利用深度学习的方法，Dong提出了基于卷积神经网络的图像超分辨算法(Super-Resolution Convolutional Neural Network,简称SRCNN)，从大规模样本数据集里学习低分辨率至高分辨率图像的最优映射函数。为了进一步提升深度网络模型的重建效果，Kim提出了深层超像素网络模型(Very Deep Super Resolution，简称VDSR)，通过将SRCNN进行网络深度扩展(从3层增加至20层)，并且引入了跳跃连接，学习低分辨率与高分辨率图像之间残差信息的映射关系。通过对网络层数扩展，其包含的参数数目大大增加，从而可以更加精确地拟合低分辨率和高分辨率图片之间的复杂映射关系。由于复杂的网络模型会导致庞大模型参数占用大量存储空间的问题，Kim提出了基于深度监督和参数共享技术的深层递归卷积网络(Deep-Recursive Convolutional Network，简称DRCN)。多个模块之间通过参数共享，大大减少模型的参数总和。Tai通过叠加了多个残差网络模块(ResNet)，构建了一个包含52层网络的深层递归残差网络(Deep-RecursiveResidual Network，简称DRRN)结构，取得了远超VDSR方法的重建效果。鉴于深度学习方法应用于可见光图像超分辨取得的优良性能，Choi提出了4层红外增强卷积神经网络(Thermal Image Enhancement Network,简称TEN)，将深度学习方法应用到红外图像的超分辨处理。

发明内容

本发明提出了一种基于深度神经网络的红外热成像超分辨率仪器。在不改变红外热成像设备的物理结构的前提下学习转换规律，使之输出更清晰的图像。

具体步骤包含以下几个方面：

1、数据采集及预处理

本发明训练用的数据集是红外热像仪热成像仪拍摄后通过裁剪、翻转等方法增加其数量后制作的数据集，将其对齐后分成训练集、验证集及测试集三部分。且训练集中的每一组图片都包含想对应的高低分辨率两种图像。

2、降噪处理

将图像对齐后，需要通过降噪模块来去除图像上的噪声。并根据图像噪声类型的不同来应用不同的去噪方式，一般有高斯噪声、椒盐噪声、文本噪声、泊松噪声等等。其中降噪模块应用的是IFD。

3、搭建深度神经网络

本发明使用Pytorch框架搭建深度神经网络模型。具体的网络结构为，输入模块-卷积层-n个残差块-卷积层-特征相加模块-上采样模块-卷积层-输出模块。其中，n默认值为16，并可对n进行调整，n越大网络深度越深，改结构的效果越好；其中残差块的结构为：卷积层-ReLU函数-卷积层-残差因子模块-特征相加模块；上采样模块结果为：卷积层-上采样层。神经网络使用的损失函数为L1损失函数，反向传播过程使用梯度下降算法来最小化L1损失函数从而达到对网络中神经元的参数的调整。