[发明专利]基于纹理传输的多风格视频艺术化处理方法

摘要

基于纹理传输的多风格视频艺术化处理方法，包含如下步骤：步骤1：基于方向场的多风格纹理合成，采用基于方向场的纹理合成方法，根据视频相关信息合成出一个纹理层，使合成的纹理层不仅有样本纹理的质地特征，还能动态体现视频中各种场景物体的物体轮廓、走向等信息；步骤2：纹理层传输与修补，把步骤一中合成的纹理层随光流场进行传输。为了应对传输过程中产生的纹理走样问题，需要对纹理层执行有限修补；步骤3：基于GPU的快速视频抽象，利用GPU加速的彩色图像形态学操作；步骤4：视频纹理层的融合。本发明的视频艺术化算法分为三大部分，分别是纹理层的合成传输与修补、视频抽象操作以及最后的视频纹理层融合，最终得到多风格视频艺术化结果。

主权项

基于纹理传输的多风格视频艺术化处理方法，包含如下步骤：步骤1：基于方向场的多风格纹理合成，采用基于方向场的纹理合成方法，根据视频相关信息合成出一个纹理层，使合成的纹理层不仅有样本纹理的质地特征，还能动态体现视频中各种场景物体的物体轮廓、走向等信息；1.1生成边缘切向场(ETF)数据，并保存成图片格式；1.2基于块的纹理合成生成一个与视频分辨率大小相同的纹理层，其合成过程如下：1.2.1初始化系统参数，设定合成窗口及邻域大小，根据视频帧生成对应的方向场；1.2.2根据合成窗口大小，按照从左到右，由上到下的顺序扫面对应帧的方向场，通过计算合待成窗口内像素点的平均方向场方向来决定此待合成窗口的最终方向；1.2.3在求得待合成窗口的方向后，在候选纹理集内选择对应方向的样本纹理，按照基于块的纹理合成方法合成完整纹理传输层；步骤2：纹理层传输与修补，把步骤一中合成的纹理层随光流场进行传输；为了应对传输过程中产生的纹理走样问题，需要对纹理层执行有限修补；2.1基于光流场的纹理层传输：2.1.1提取视频光流场，保存在图片中；2.1.2根据提取到的光流场对步骤一中合成的纹理层进行传输，传输公式如(1)；P(U(X，t))＝P₀(U(X，t))+V(X，t)   (1)X＝(x，y)表示t帧纹理坐标，U＝(X，t)表示t帧屏幕坐标,P₀(U(X，t))表示t帧待传输纹理中点X＝(x，y)的像素值，t时刻视频帧的X点的运动向量则表示为V(X，t)＝X_t‑1‑X_t,在光流场中提取到所需要的所有像素点的运动向量；这样，在当前帧的纹理层P完成纹理坐标到屏幕坐标的映射后，会在下一帧的纹理传输过程中成为P₀，以此重复，直至完成全部帧的传输；2.2纹理层的修补：2.2.1定位发生纹理走样的像素点：由于纹理传输时，只是对纹理坐标的传递映射，而纹理拉伸走样问题就是因为在像素点的运动轨迹上出现了过多重复的像素而导致的；因此，只需要在每个像素点纹理坐标的3×3邻域内查找是否含有重复坐标值，若有重复值，即可判断为此像素点发生走样，反之则无；2.2.2纹理合成的邻域选取：把纹理合成用于纹理传输时的纹理修补，并不能简单的选取一个L型或是I型邻域；为了使修补后的纹理与原始纹理层中未变形部分能够良好衔接)，邻域选择会根据纹理发生走样时的拉伸方向的不同而有所区别，把纹理拉伸方向量化为水平和垂直方向上的4个方向，对应的邻域形状有和L型；2.2.3局部纹理合成顺序的确定：因为选择的邻域形状的不同，所以在最终的局部合成时的顺序也不尽相同；对于具体的局部合成顺序，当邻域形状为┐，在全局扫描顺序下，扫描到变形区域1时，系统会检测此时的变形方向，在确定变形方向向左时，系统会把当前的待修补块1放入堆栈里，然后按照变形方向反向继续扫描，直至扫描到图像边缘或者未变形块时停止(块2、3)；此时，开始从堆栈中取出待合成块，由于堆栈的特性为先进后出，所以从最后一个进入堆栈的块开始，按照右上L型邻域开始合成；步骤3：基于GPU的快速视频抽象，利用GPU加速的彩色图像形态学操作；在灰度图的形态学操作中，膨胀操作(Dilation)去掉图中较暗的部分，使较高亮度的部分得到传播；腐蚀操作(Erosion)刚好相反，使图中较暗部分得到传播；让I代表一幅图像，B表示一个形态学操作的结构元，它包含了当前像素点的邻域坐标，X表示图像中的一个像素点；那么，形态学膨胀操作β和腐蚀操作ε就可定义为：$\left\{\begin{array}{c}{\mathrm{\β}}_B\left(I\right)\left(X\right)={\max }_{b\∈B}\left\{I(X-b)\right\}\\ {\mathrm{\ϵ}}_B\left(I\right)\left(X\right)=\underset{b\∈B}{\min }\left\{I(X+b)\right\}\end{array}\right.---\left(2\right)$形态学开操作(Opening)是腐蚀操作和膨胀操作的顺序组合；而形态学闭操作(Closing)是膨胀操作和腐蚀操作的顺序组合；通过交替使用形态学开闭操作，使视频得到抽象；为了把基于图像的形态学操作算法应用到视频抽象中，也在时间和空间上扩展了形态学操作，其结构元的选取不再是2维空间中的矩阵，而是时空3维空间上的3D结构元；在确定结构元的选取后，利用GPU的并行计算框架CUDA实现对视频的连续抽象；根据视频的大小(假设视频共有200帧，分辨率为640×480)，选择创建大小为(640,480,200)的grid，即一共有640×480×200个block，也就是说每帧里面的每一个像素都会分配一个Block，而在每个具体的block里面，又创建了9个thread，这9个thread对当前像素随着光流场向前先后共同选取一个3D结构元，使每个thread对应一个视频帧中邻域；然后众多的thread独立进行形态学开闭操作，实现形态学操作的并行加速；步骤4：视频纹理层的融合；为了完成纹理层的融合，我们把目标视频的每一帧和纹理层由RGB颜色空间转换到YIQ空间，然后逐一对目标视频帧的Y分量进行重新映射，完成整个融合过程，其公式如下：Y(t′)＝k×(Y(s)‑u(s))+Y(t)   (3)其中，Y(t′)表示重新映射后的目标图Y分量；Y(s)表示源纹理的Y分量；Y(t)表示目标图原始Y分量，k表示目标图Y方差/源纹理Y方差，u(s)表示源纹理Y分量均值。