[发明专利]一种动态视频触觉特征提取及渲染的方法

权利要求书

1.一种动态视频触觉特征提取及渲染的方法，其特征在于，包括下列步骤：

(一)解压缩处理接收到的视频；

(二)视频预处理，基于帧间的颜色直方图特征分割镜头；

(三)对分割后的每个镜头内的所有帧，提取融合了时空域触觉显著性特征的显著图，步骤如下：

(1)采用Itti算法在空域上提取静态显著图；

对于镜头内的各帧，引用镜头分割时获取的灰度图I，即视频帧由RGB向HIS转换时的亮度图像I，采用高斯金字塔对其进行下采样，生成9张不同大小的尺度图I(σ)，σ∈[0,8]，其中尺度0表示该尺度图像与原图像的像素面积比例是1：1，尺度8表示该尺度图像与原图像面积比例为1：256；根据视觉感知机制中的“center-surround”理论，定义原图的中心区域为尺度c∈{2,3,4}中的像素，周围区域为尺度s＝c+δ中的像素，其中δ∈{2,3,4}，通过中心区域和周围区域的跨尺度减操作，可得到6个亮度特征差图c∈{2,3,4}，δ∈{2,3,4}，其中代表跨尺度减操作：通过将代表周边背景信息的较小尺度的图像进行线性插值，使之与代表中心信息的较大尺度的图像具有相同大小，然后进行点对点的减操作，通过归一化因子对6个特征差图归一化并生成亮度显著图

(2)基于光流图在时域上提取动态显著图；

引用镜头分割时获取的灰度图I，采用Horn-Schunk算法计算镜头内相邻两帧间的光流图，基于亮度恒定约束，可推出其中分别为光流场的水平分量和垂直分量，再基于光流场是平滑的假设，由可唯一确定u和v的值，即：E(u,v)＝min{∫∫[I_xu+I_yv+I_t]²+λ((u_x)²+(u_y)²+(v_x)²+(v_y)²)]dxdy}，由光流场的水平分量和垂直分量获得光流场的幅值图像由于光流图反映两张连续图像之间的运动，因此光流序列的长度与原图像序列长度不一致，光流图序列比原图像序列短一帧，为得到长度一致的序列，令第一幅光流图M₁表达原视频中第一帧与第二帧之间的运动，其余每幅光流图M_t表达原视频中第t-1帧与第t帧之间的运动；

其中，I_t-1，I_t，I_t+1分别表示第t-1，t及t+1帧灰度图像；

引用视频帧的静态显著性提取方法，同样依据“center-surround”理论构造高斯金字塔对光流图提取动态显著图

(3)进行时空域的显著性融合

将同一视频帧在时域和空域上分别得到的显著图上各像素点的显著性值对应相乘，由此得到一个新的融合了时空域显著性特征的显著图；

其中，i代表镜头内的第i帧图像；

(四)根据视频帧的显著图进行像素点级别的触觉渲染，步骤如下：

映射函数为：A_i(x,y)＝7.03×[S_i(x,y)×100]^0.81

其中A_i(x,y)为位于(x,y)像素点处的触觉激励信号的幅值大小，S_i(x,y)为位于(x,y)像素点处的显著性值的大小；

在T_i时刻，手指在静电力触觉反馈装置的交互单元上触摸位于(x,y)处的视频内容，则会获得激励信号幅值大小为A_i(x,y)的触觉反馈。