[发明专利]一种基于像素语义匹配的视频帧率上转换方法

权利要求书

1.一种基于像素语义匹配的视频帧率上转换方法，其特征在于，包括以下步骤：

(1)、将视频序列中第t帧F_t作为待插帧、视频序列中第t-1帧F_t-1作为待插帧F_t的前向的参考帧、视频序列中第t+1帧F_t+1作为待插帧F_t的后向的参考帧，待插帧F_t是位于前向的参考帧F_t-1、后向的参考帧F_t+1之间的中间帧，针对前向的参考帧F_t-1、后向的参考帧F_t+1，逐像素提取语义特征，生成前向的参考帧F_t-1的前语义层L_t-1、后向的参考帧F_t+1的后语义层L_t+1；具体是：

步骤a1、分别以尺寸为M×N的前向的参考帧F_t-1、后向的参考帧F_t+1的第m行、第n列像素位置为中心，提取尺寸为p×p的图像参考帧前子块参考帧后子块

步骤a2、分别以F_t-1、F_t+1的第m行、第n列像素位置为中心，建立尺寸为h×h的前邻域后邻域再以前邻域后邻域内第x行、第y列像素位置为中心，提取尺寸为p×p的图像前邻域子块后邻域子块

步骤a3、计算图像参考帧前子块与图像前邻域子块参考帧后子块与后邻域子块之间的相关系数，公式如下：

式中分别代表的第i行、第j列像素的取值，σ为尺度因子；

步骤a4、遍历前邻域后邻域内所有像素，即x、y分别由1取至h，按式(1)、(2)计算相应相关系数，将所有相关系数组成尺寸为h×h的二维相关前平面二维相关后平面

步骤a5、将二维相关前平面二维相关后平面的取值范围[0,1]等间隔划分为bin份，分别统计二维相关前平面二维相关后平面的取值在各等间隔上的出现次数，并除以相关平面取值总数h²，生成相应的归一化的前直方图后直方图

步骤a6、计算前直方图后直方图的偏度如下：

其中分别为前直方图后直方图的第k个取值；

步骤a7、遍历前向的参考帧F_t-1、后向的参考帧F_t+1的所有像素，即m由1取至M，n由1取至N，按式(3)、式(4)计算各像素对应的偏度，将所有偏度组成尺寸为M×N的前语义层L_t-1、后语义层L_t+1，公式为：

(2)、将前语义层L_t-1、后语义层L_t+1分别作为前向的参考帧F_t-1、后向的参考帧F_t+1的新通道，合并计为X_t-1、X_t+1，以待插帧F_t为中心，根据前向的参考帧F_t-1新通道X_t-1、后向的参考帧F_t+1新通道X_t+1实施双向块匹配，生成待插帧F_t的运动向量场V_t；

(3)、根据相邻前向的参考帧F_t-1、后向的参考帧F_t+1及待插帧F_t的运动向量场V_t进行重叠块运动补偿内插，获取待插帧F_t，实现基于像素语义匹配的视频帧率上转换。

2.根据权利要求1所述的基于像素语义匹配的视频帧率上转换方法，其特征在于，包括以下步骤：

将前语义层L_t-1、后语义层L_t+1分别作为前向的参考帧F_t-1、后向的参考帧F_t+1的新通道，合并计为X_t-1、X_t+1，以待插帧F_t为中心，根据前向的参考帧F_t-1新通道X_t-1、后向的参考帧F_t+1新通道X_t+1实施双向块匹配，生成待插帧F_t的运动向量场V_t；具体包括以下步骤：

步骤b1、前向的参考帧F_t-1与前语义层L_t-1合并成尺寸为M×N×2的X_t-1，后向的参考帧F_t+1与后语义层L_t+1合并成尺寸为M×N×2的X_t+1，即：

步骤b2、将待插帧F_t划分为尺寸为b×b的互不重叠块，针对待插帧F_t内第r行、第c列的块通过其中心像素沿时间轴在F_t-1内确定参考像素以位置为中心在F_t-1内设立尺寸为w×w的搜索窗口

步骤b3、遍历内所有像素，逐一计算与块中心像素的相对位置偏移，组成块的候选运动向量集合

步骤b4、对于任一候选运动向量计算其双向匹配误差值如下：

式中(m,n)为块内任一像素在F_t内的坐标位置，X_t-1(m+v_x,n+v_y,1)、X_t-1(m+v_x,n+v_y,2)分别为在X_t-1内坐标位置(m+v_x,n+v_y,1)、(m+v_x,n+v_y,2)的取值，X_t+1(m-v_x,n-v_y,1)、X_t+1(m-v_x,n-v_y,2)分别为在X_t+1内坐标位置(m-v_x,n-v_y,1)、(m-v_x,n-v_y,2)的取值，α为正则化因子；

步骤b5、计算内所有候选运动向量的双向匹配误差值，取其中具有最小双向匹配误差值的候选运动向量作为的最终运动向量

步骤b6、遍历F_t内所有非重叠块，即r由1取至M/b，c由1取至N/b，按式(9)生成所有块的运动向量，组成F_t的运动向量场V_t；

根据相邻前向的参考帧F_t-1、后向的参考帧F_t+1及待插帧F_t的运动向量场V_t进行重叠块运动补偿内插，获取待插帧F_t，实现重叠块运动补偿内插，方法是：

根据待插帧F_t的运动向量场V_t，利用参考帧F_t-1、F_t+1，实施重叠块运动补偿生成待插帧F_t，对于F_t中任一块B₄，其与左上角3个相邻块B₁、B₂、B₃重叠，而B₁、B₂、B₃、B₄各自具有运动向量v₁、v₂、v₃、v₄；对于O₁区域，B₁、B₂、B₃、B₄四个块在此重叠，则该区域执行内插公式：

对于O₂区域，B₃、B₄两个块在此重叠，则该区域执行内插公式：

对于O₃区域，其完全包含在B₄块内，则执行内插公式：

其中，式(10)-(12)中s为像素坐标，F_t(s)、F_t-1(s)、F_t+1(s)分别代表F_t、F_t-1、F_t+1位于像素坐标s处的亮度值；对于B₄与右上角、左下角、右下角相邻块的四块重叠区域按式(10)计算，而两块重叠区域按式(11)计算，实现基于像素语义匹配的视频帧率上转换。