[发明专利]面向移动设备的视频超分辨率处理方法、装置、存储介质

权利要求书

1.一种面向移动设备的视频超分辨率处理方法，其特征在于，所述方法包括：

获取每帧的视频帧图像，并对视频帧图像进行分割，形成大小相等的子图，利用canny边缘检测算法对分割得到的子图进行边缘检测，根据边缘检测的复杂程度对子图进行优先级排序，边缘检测复杂度越高则子图优先级越高；

将优先级最高的前K个子图传送到云服务器，云服务器接收到子图后基于深度神经网络对子图进行超分辨率处理；

利用huffman编码方法对超分辨处理后的子图进行编码，压缩图像大小后传送给移动设备；

移动设备接收到编码子图后进行解码，并将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，并按视频帧顺序将视频帧图像拼接为视频；

所述获取每帧的视频帧图像，并对视频帧图像进行分割，形成大小相等的子图，包括：

获取待进行超分辨率处理的视频，并从视频中逐帧获取视频帧图像，对视频帧图像进行分割处理，形成大小相等的子图，所述子图的大小为像素；

所述利用canny边缘检测算法对分割得到的子图进行边缘检测，包括：

利用canny边缘检测算法对分割得到的子图进行边缘检测，所述基于canny边缘检测算法的边缘检测流程为：

1）对子图进行灰度提取，所述灰度提取流程为：

获取子图中每个像素点的RGB颜色像素值；

将每个像素点的RGB颜色像素值转换为灰度值：

其中：

为像素点的灰度值；

为像素点的红色分量值，为像素点的绿色分量，为像素点的蓝色分量；

构造的灰度矩阵Q，按像素点的位置将每个像素点的灰度值填写到灰度矩阵中；

2）利用高斯滤波法对灰度矩阵Q进行滤波降噪处理，所述滤波降噪处理流程为：

设置尺寸为，标准差为1的高斯核，所设置的高斯核形式为：

将灰度矩阵Q中的每个像素的灰度值乘以高斯核，将乘积结果作为滤波降噪后的灰度值；

3）对于以任意像素u的灰度值为中心的灰度矩阵，利用Sobel算子和计算像素的梯度矩阵：

其中：

表示像素u在x轴方向的梯度矩阵；

表示像素u在y轴方向的梯度矩阵；

4）将像素u的灰度值在矩阵中的位置表示为，表示像素u的灰度值在矩阵Q的第行第列，以为中心，连接邻近灰度值，将以像素u的灰度值为中心的灰度矩阵划分为8个区域，根据和的正负大小判断的所属区域；

计算和，若均大于和，则像素u为边缘像素，保留像素u的灰度值，否则将其置为0，和的计算公式为：

其中：

表示矩阵Q的第行第列的灰度值所对应像素的梯度矩阵；

表示梯度矩阵乘以梯度矩阵的逆矩阵；

5）对每个子图的灰度矩阵中的每个灰度值进行步骤1）-4），计算每个子图中所保留的边缘像素数量；边缘像素数量越多的子图，其边缘检测复杂度越高，且边缘检测复杂度越高的子图优先级越高。