[发明专利]基于深度置信网络的图像超分辨率重建方法

摘要

基于深度置信网络的图像超分辨率重建方法，涉及图像处理。获取低分辨率的图像，对低分辨率的图像先进行插值放大，放大到所需尺寸；用重复分块采样的方法来获取低分辨亮度图图像块；输入低分辨率图像块，用预先训练好的深度置信网络预测高分辨率的图像块；将得到的拟合结果进行邻域正则化优化求解；将所有的高分辨亮度图像块组合得到高分辨率亮度图像；最后跟之前得到的其它两个通道的值组合起来，再转换成彩色RGB表示的图像，即得到所预测的高分辨率图像。可实现单帧图像的超分辨重建，提高图像的峰值信噪比，得到重建图像清晰边缘和丰富纹理，可用于视频安全监控、医学数字影像、航天探测等。

主权项

基于深度置信网络的图像超分辨率重建方法，其特征在于包括以下步骤：(1)输入低分辨率的图像Y；(2)将低分辨率的图像Y先进行双立方插值放大，放大到所需要的尺寸；(3)将图像从用红，绿，蓝三个颜色通道表示的RGB彩色空间转换到亮度和蓝色红色浓度偏移量(YCbCr)彩色空间，并只对图像的亮度值也就是亮度(Y)通道进行后续的处理；(4)以滑动窗口在图像上进行滑动，步长为1取图像块，得到低分辨的图像块(patch)Y_i，i表示图像块的序列号；(5)用低分辨率的训练图像块，以及对应的高分辨率图像块，通过训练3个受限的波尔兹曼机得到网络参数{W_i},{c_i}，其中，{W_i}表示网络中的边连接的权值向量，{c_i}表示网络中下一层对上一层的偏置，用训练得到的{W_i},{c_i}初始化深度置信网络(Deep Belief Network,DBN)的参数；(6)训练DBN网络(Trained DBN),将3个RBM叠起来，得到DBN，利用上面得到的训练图像块，用随机梯度下降法和误差的反向传播法微调参数{W_i},{c_i}，直到e<tol或者迭代次数t>T，e表示误差，tol和T是算法中给定的常数阈值；(7)将待测试图像的低分辨率的图像块patch块Y_i作为输入，利用步骤(6)训练好的DBN来预测得到对应的高分辨率的图像块X_i；(8)将得到的高分辨率的图像块X_i，取图像块中间的像素点赋值为高分辨图像对应位置坐标的像素值，对所有的低分辨率的图像块Y_i进行处理，得到所想要的高分辨率的图像亮度图X_{DBN_SR}；(9)添加非局部相似性约束，局部相似性约束，深度置信网络拟合约束，建立基于邻域关系正则化和拟合关系正则化的超分辨优化模型；(10)用分离的布雷格曼迭代算法来求解步骤(9)中的优化模型；(11)将得到的亮度通道(Y)超分辨重建图像跟其它两个颜色通道的值(CbCr)组合起来，再转换成RGB的图像，即得所预测的高分辨率图像X。