本发明涉及压缩感知和视频编解码领域,是一种基于字典学习残差重建的压缩感知视频重建方法。该方法先对视频划分图像组(Group of Picture,GOP),每组指定关键帧和非关键帧,关键帧和非关键帧采用不同采样率、不同方法逐帧逐块顺序编码。在解码端,取一个GOP,先采用多参考帧加权平均获得其初始重建;再采取迭代法获得GOP的最终重建。在迭代中先使用多参考帧对当前帧进行运动估计获得其运动补偿图像;接着采用多参考帧残差域字典学习,获得当前帧各个块的残差域自适应基,进行残差重建;最后,根据各帧的运动补偿图像和残差,得到该GOP的最终重建,