[发明专利]低照度图像处理方法和系统

说明书

本发明提供了一种低照度图像处理的方法和系统，其中该方法包括：获取待处理图像；确定该待处理图像是低照度图像还是高照度图像；响应于确定该待处理图像为低照度图像：提取该低照度图像的尺度不变特征变换SIFT特征，基于SIFT特征将该低照度图像与参照特征库中的高照度参照图像进行比较；响应于在该参照特征库找到与该低照度图像的相似度高于阈值的高照度参照图像，用所找到的高照度参照图像作为该低照度图像的经处理图像；响应于在该参照特征库未找到与该低照度图像的相似度高于阈值的高照度参照图像，提取该低照度图像的图像特征，以及将提取的图像特征输入经训练的基于生成对抗网络的图像去噪模型来得到该低照度图像的经处理图像。

技术领域

本发明涉及视联网领域，并且更具体地，涉及用于对视频帧中的低照度帧进行去噪声的图像处理方法和系统。

背景技术

随着5G和视频技术的发展，基于摄像头的看家类产品发展迅速，而视频文件的存储规模也越来越大。以中国电信天翼看家产品为例，每日新增的视频文件就需要25P的存储空间，海量的存储最直接的是带来很大的硬件采购成本，另外海量的存储对于扩容、运维、容灾等都带来很大的管理成本。所以对视频文件尽可能大的压缩是一个迫在眉睫的长期的技术难题。

特别是在低照度环境下，感光元件增加曝光时间，温度上升，较长时间的感光会造成大量白噪声、暗电流，这些白噪声和暗电流会造成大量随机噪点的输出。

1、成像质量低，用户体验差；视频可能会被高斯噪声、椒盐噪声、瑞利噪声、指数噪声等的一种或者多种噪声覆盖；

2、噪点会造成视频中的高频信号较密集，如果不加处理直接输入到编码器进行编码，会造成存储空间的提升；在H265标准下单路视频摄像头的码流在亮度正常的情况下被压缩到700K左右，但在夜晚阴雨天等低照度环境下，存储容量会增加30％-50％；

3、这些图像用于人脸识别、车牌识别等AI识别时，成功率较低，会给智能安防带来很大隐患。

传统的编解码技术会使用低通滤波和中值滤波的方式进行噪声的处理。但低通滤波在去除噪声的同时图片会变得模糊。中值滤波采用非线性的方法，在保护图像尖锐的边缘同时，选择适当的点来替代污染点的值，所以处理效果不会像低通滤波那样模糊，但中值滤波的算法决定了对椒盐噪声表现较好，对高斯噪声等其它噪声表现较差。近年来随着人工智能的发展，机器学习算法和深度学习算法被应用到图像去噪领域，并取得了较为明显的成果，但人工智能模型的训练依赖于大量样本集的标注和学习，在推理阶段依赖于硬件的算力，在端侧进行ISP处理和AI处理时会增加硬件成本。

题为“一种夜间低照度图像噪声的抑制方法”的中国专利申请(CN102054266B)公开了一种夜间低照度图像噪声的抑制方法，具体方法为：首先判断找出大增益增强后的低照度图像，对低照度图像中的噪声敏感区域进行非线性映射，在对非线性映射后的图像再进行一次中值滤波，最后输出的结果图像即为噪声抑制后的图像。本发明采用非线性映射与中值滤波相结合的方法对图像的噪声进行抑制，由此达到了在保持原有图像能见度的同时，抑制低照度图像的噪声，提高夜间图像的监控画面质量。本发明采用中值滤波的方法，泛化能力较差，对椒盐噪声有一定效果，其它噪声较差。

题为“基于相似场景的低照度监控图像增强方法”的中国专利申请(CN103020924B)公开了一种基于相似场景的低照度监控图像增强方法，该方法包括步骤：获取与低照度监控图像场景相似的高照度图像构建相似场景图像库，且图像库中的图像与低照度监控图像大小相同；对低照度监控图像进行预处理以提高图像质量；在相似场景图像库中搜索与待增强的低照度监控图像最相似的图像作为参考图像，所述的与待增强的低照度监控图像最相似的图像为：相似场景图像库中与待增强的低照度监控图像的像素差值和最小的图像；采用直方图匹配的方法，让待增强的低照度监控图像的直方图与参考图像的直方图匹配以增强低照度监控图像。采用本发明方法对低照度监控图像进行增强，可提高监控图像的清晰度。本发明提出了相似场景下使用高质量相似图像进行图像增强，但直接使用直方图匹配的方式去匹配准确率较低，因为直方图本身受光照影响较大。