[发明专利]一种手语检索的方法

说明书

技术领域

本发明涉及数字媒体和人机交互领域，它要求用户输入手语视频，然后在手语视频库中检索相似的视频片断。

背景技术

近几年来，中国很多电视台比如北京新闻等，都提供了手语播报的功能，以帮助聋哑残疾人士观看新闻内容。基于内容的视频检索和管理是目前数字媒体领域比较热门的研究方向。但是，对于手语视频这种比较特殊的视频形式，如何有效地根据内容管理这些视频是一个亟待解决的问题。在这种情况下，将大量的手语视频的存储和查找从全人工的方式中解脱出来更是大势所趋。要做到这一点，就必须分析手语的内容并且加以分析和特征生成，以方便管理。手语的3D特征的获取在不借助于数据手套的情况下几乎是不可能的，而分析手语新闻，主持人也是不带数据手套的。现有的手语处理技术借助数据手套，限制了用户使用的灵活性。那么，通过手部运动追踪，提取坐标速度和形状以建立分段的手语新闻特征并检索是一种可行的并且方便快捷的方法。

发明内容

为了解决现有技术手语处理只能借助于数据手套，并且速度较慢的技术缺陷，本发明的目的在于提出一种对大量的手语视频进行建立特征库和有效管理的手语检索的方法。

为了达成所述目的，本发明提供一种手语检索方法，所述方法的技术方案包括如下步骤：

步骤S1：对手语进行视频解码并提取图像底层纹理特征、颜色特征和轮廓特征，根据手语运动特征生成手语特征库，用手语追踪双手方法得到手语特征为双手运动的坐标特征、双手运动的速度特征和双手的形状特征，进而构成时间序列特征，并以手语特征的字符串存储下来；

步骤S2：对于用户输入的视频用坐标、速度和形状特征表示，得到用户输入视频的字符串；

步骤S3：利用字符串编辑距离算法对检索时用户输入手语视频的字符串和手语特征的字符串进行距离度量，得到输入视频和手语特征库中视频的相似度量。

其中，所述双手追踪和定位的步骤如下：

步骤S11：获取输入计算机的手语新闻视频帧或摄像头视频，对于手语新闻或者摄像头视频进行检测，如果检测视频帧中有人脸，则进行步骤S12的操作；如果检测视频帧中没有人脸，则对此视频帧不做处理返回计算机输入端；

步骤S12：根据视频帧中的人脸坐标，得到人脸下方距离人脸中心一倍人脸直径的胸部位置作为极坐标的中心，建立极坐标系，以刻画后续双手位置；

步骤S13：将视频帧转化为亮度色度颜色空间(YUV)，并且映射到色度二维空间，利用肤色的良好的聚类性质分割肤色，肤色分割的公式为：

0.261π≤tan-1(UV)≤0.3111π]]>

43≤U2+V2≤78]]>

0.25π≤tan-1(UV)≤0.3161π]]>