[发明专利]基于体感设备的聋哑人手语机器翻译方法

摘要

本发明公开了基于体感设备的聋哑人手语机器翻译方法，涉及视频图像处理技术领域，采用Microsoft Kinect for Xbox 360获取手语手势的3D深度影像信息，通过对视频信息的分析，实现手语手势的检测、跟踪、分割、提取手势中能够区别于其他手势的特征进行手势建模，采用机器学习的方选取一定数量的手语手势样本对分类器进行训练后，用分类器去进行未知手语手势的识别并以自然语言的方式输出识别结果，最终实现聋哑人手语到自然语言的自动翻译，使用成本低，且翻译快速准确。

主权项

基于体感设备的聋哑人手语机器翻译方法，其特征在于，该方法包括：步骤S1，采集包括深度视频和彩色视频在内的手语视频；步骤S2，采用DI_CamShift算法对深度视频进行处理，以对彩色视频中的手语手势图像进行检测和追踪；步骤S3，对追踪获得的手语手势图像进行分割，将手语手势图像中的手语手势和背景分割开；步骤S4，提取手语手势的完备特征集，对完备特征集量化生成手语视觉单词，最终采用BoW方法构建手语手势的视觉单词词包；步骤S5，将所述手语视觉单词词包中的一部分单词作为训练样本，应用基于H_Kernel的混合核函数SVM对训练样本的融合特征进行学习，对另一部分手语视觉单词进行识别并输出翻译结果。