[发明专利]一种动态视频触觉特征提取及渲染的方法

说明书

本发明涉及动态视频触觉特征提取及渲染的方法，属于虚拟现实与人机交互领域。包括解压缩处理接收到的视频，视频预处理，基于帧间的颜色直方图特征分割镜头，对分割后的每个镜头内的所有帧，提取融合了时空域触觉显著性特征的显著图，根据视频帧的显著图进行像素点级别的触觉渲染。本发明通过提取融合了时空特性的视频帧显著性特征，将视频内容区分为显著性区域以及非显著性区域。同时采用视觉通道和触觉通道的一一映射关系，对视频帧施加像素级的触觉刺激。通过终端产生实时的触觉反馈，丰富了用户观看视频的真实感体验。可以广泛地应用于视频教育、多媒体娱乐以及人机交互之中。

技术领域

本发明属于虚拟现实与人机交互领域，尤其涉及一种动态视频特征提取及触觉再现的方法。

背景技术

4G技术的发展使得视频流的应用呈指数级增长，5G时代的来临将支持在原有音频、视频通道的基础上，构造另一重要的人体感受通道：触觉通道，使得人机交互的性能及体验得以丰富。因此，实现对视频媒体的特征提取并对其进行触觉渲染将成为重要的技术难点。

现有的触觉渲染的特征提取方法通常是以静态图像作为提取对象的，而视频是由图片序列组成的，在图片原有的二维空间中，增加了时间的维度。由于图片序列在时间上的相关性，视频内容中包含的特征信息不能简单地看做图像帧所具有的静态特征，还应包含目标运动等事件产生时带来的动态特征，因此针对视频的特征提取方法在当前触觉渲染领域中的研究显得尤为重要。

1954年，Mallinckrodt等人意外发现了电振动(electrovibration)现象。2010年，美国迪士尼研究院基于电振动原理的触觉再现样机TeslaTouch，其通过改变库仑力进而间接改变手指与屏幕间的摩擦力，提供了沿切向方向的触觉反馈。2014年，Kim等人提出了面向4D电影的基于振动的显著性驱动的视频：触觉转换，但是其由振动产生的触觉反馈存在分辨率较低的缺点。

2016年，吴赛文等人提出了一种适用于视频的多参量渲染方法，将视频帧的彩色图像从RGB空间转换为HSI空间，分别使用驱动信号幅度和频率参量对图像的亮度、饱和度和色调实时渲染再现。但是其未将视频的动态特征考虑在内。

中国专利“一种融合触觉感知功能的视频聊天方法和终端”(公开号CN104717449A)公开了一种面向移动终端的基于实时视频通讯的触觉反馈的方法，同样其只考虑空间上的帧内特征，没有将帧间的动态特征考虑在内。

发明内容

本发明提供一种动态视频触觉特征提取及渲染的方法，目的是基于静电力触觉反馈装置，达到更加理想的触觉反馈效果。

本发明采取的技术方案是，包括下列步骤：

(一)解压缩处理接收到的视频；

(二)视频预处理，基于帧间的颜色直方图特征分割镜头；

(三)对分割后的每个镜头内的所有帧，提取融合了时空域触觉显著性特征的显著图；

(四)根据视频帧的显著图进行像素点级别的触觉渲染。

本发明所述步骤(二)中基于帧间的颜色直方图特征分割镜头的方法如下：

(1)首先将RGB空间向HSI空间转换，得到图像中每个像素的色调H(hue)、饱和度S(saturation)和亮度I(itensity)；

此处

(2)然后根据人的颜色感知度将其进行非均匀量化，将色调H空间分为8份，饱和度S空间分为3份，亮度I空间分为3份，整个HSI颜色空间被分成72个子空间(8×3×3)，根据人视觉的敏感度对HSV的3个颜色分量分别赋以不同的权值，然后利用下式合成一维特征矢量：