[发明专利]一种基于双向最佳匹配的分布式视频压缩感知重构方法有效
申请号: | 201710010302.0 | 申请日: | 2017-01-06 |
公开(公告)号: | CN106888024B | 公开(公告)日: | 2020-09-08 |
发明(设计)人: | 张登银;谢亮 | 申请(专利权)人: | 南京邮电大学 |
主分类号: | H03M7/30 | 分类号: | H03M7/30 |
代理公司: | 江苏海越律师事务所 32402 | 代理人: | 唐小红 |
地址: | 210003 *** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 双向 最佳 匹配 分布式 视频压缩 感知 方法 | ||
1.一种基于双向最佳匹配的分布式视频压缩感知重构方法,其特征在于,具体步骤如下:
输入:视频序列帧xt有N=Ic×Ir个像素,分成n个大小为B×B的块,当前帧xt的第i个块的列向量形式记为xt,i,i=1,...,n,n=N/B2;
分块尺寸:B×B,B=32,分块测量矩阵为ΦB;
(1)将原始视频流拆分为关键帧和非关键帧,奇数帧为关键帧,偶数帧为非关键帧;或者偶数帧为关键帧,奇数帧为非关键帧;
(2)在采集端,用测量矩阵Φ对关键帧和非关键帧进行CS测量;
(3)在重构端,首先重构视频序列中的关键帧;
(4)将已重构的关键帧作为参考帧,利用MH即Multiple Hypotheses,MH,为预测模型即多假设预测模型重构原理,首先寻找当前帧的第i个块xt,i在搜索窗口D1内的前向最佳匹配块xt,ibf和后向最佳匹配块xt,ibb,即和xt+1,i和xt+1,i是当前帧的前一帧xt-1和当前帧的后一帧xt+1的第i个块;寻找前、后向最佳匹配块时,在测量域采用像素块结构相似性即Structural SIMilarity,SSIM,作为失真标准进行迭代寻找,约束最佳匹配过程中根据非关键帧采样率的不同进行自适应阈值迭代,在参考帧中选取出最佳匹配块作为当前块的临时最佳预测值;SSIM定义如下:
SSIM(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ
由于当前帧xt中的第i个视频块c是未知的,但xt,i的测量值是已知的,所以整个过程在测量域进行迭代比较,则x,y分别为当前帧和参考帧中对应的视频帧块测量值,即x=Φxt,i,y=Φyt,i,xt,i为当前帧xt的第i个块的列向量形式,yt,i为参考帧yt的第i个块的列向量形式,将当前帧的测量值x=Φxt,i,参考帧的测量值y=Φyt,i带入SSIM的定义表达式SSIM(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ中进行计算,得到当前帧和参考帧之间的测量域的像素块结构相似性SSIM值,根据像素块在测量域结构相似性约束双向最佳匹配策略,迭代计算得最终的前向最佳匹配块xt,ibf和后向最佳匹配块xt,ibb,即有:和
其中l(x,y),c(x,y),s(x,y)分别代表亮度、对比度、结构比较函数;μx,μy,σx,σy,σxy分别表示参考图像和失真图像的亮度均值、标准差以及协方差;C1,C2,C3为小常数,为了防止分母为0;α、β、γ均为大于0的常量;
(5)对于前向最佳匹配块,由步骤(4)首先在搜索窗口D1内寻找到前向最佳匹配块xt,ibf后,再以xt,ibf为中心,生成半径为D2的搜索窗口D2,最后利用搜索窗口D2内所有的候选块逐像素提取视频块生成前向最优矩阵Ht,ibf;后向最佳匹配块xt,ibb用同样方法获得,因此也就得到后向最优矩阵Ht,ibb;由MH预测模型可知,矩阵Ht,ibf是一个B2×K的矩阵,矩阵中的列是参考帧中对应搜索区域D2内的视频块,K=|Ht,ibf|,矩阵中的列为参考帧中相应搜索区域D2内的视频块;
(6)利用MH预测模型中的如下两个公式计算非关键帧的边信息其中
ω为矩阵Ht,i中各列的线性组合的列向量,代表了矩阵Ht,i中寻找到的各列的最佳线性组合的列向量,由此即可算得前向的ωt,ibf和后向的ωt,ibb,Γ为正则化矩阵,ht,i是Ht,i的列,i=1,...,K;
(7)在步骤(6)中算得前向最佳匹配边信息为后向最佳匹配边信息为将前、后向最佳匹配边信息进行迭代比较,选择出最终的最佳匹配边信息,即:
(8)获得非关键帧的边信息后,在解码端,用非关键帧的测量值减去其边信息的测量值,计算出当前帧的残差值rt,i的CS观测向量yr,i,即:
(9)利用残差测量值重构出残差值rt,i;
(10)将边信息和残差值相加,得到暂时的重构非关键帧,
即:由残差重构帧xt,i和边信息之间的SSIM值即同步骤4,作为图像重构时的迭代阈值,迭代得到最终的重构非关键帧xt。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京邮电大学,未经南京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710010302.0/1.html,转载请声明来源钻瓜专利网。