[发明专利]一种基于SSD神经网络的简单手语实时识别系统及方法

说明书

本发明涉及人机交互技术领域，尤其为基于SSD神经网络的简单手语实时识别系统及方法，包括：图像采集设备，用于对手势进行采集，以及采集每种手势的训练图片；图片标注工具，对所述图像采集设备收集的每张训练图片某一区域内的手势进行标注，再将标注类别信息存入到标签文件中；终端计算机，安装深度学习平台，将标签文件载入到深度学习平台并运行，反复训练SSD网络，得到SSD网络模型；所述SSD网络模型对采集的手势手势都进行检测并翻译；显示模块，用于对SSD网络模型手势翻译结果以文字的形式进行输出显示。本发明，基于SSD神经网络的、利用普通摄像头的、不依靠外部设备的实时手语翻译系统，它具有识别率高，成本低廉的优点。

技术领域

本发明涉及人机交互技术领域，具体为一种基于SSD神经网络的简单手语实时识别系统及方法。

背景技术

对于实时手语翻译系统的研发，国内外主要有一下现有技术：

1、微软研究院利用Kinect开发的手语翻译项目，整个项目的核心是通过Kinect追踪手势从而识别手语。

2、乌克兰4名学生发明了一款手语翻译手套，名为“EnableTalk”，装有复杂的柔性传感器、触摸传感器、陀螺仪、加速度计、指南针以及太阳能电池。其复杂的传感器网络能识别手语意思，将之译成文字，再经过语音系统发声。

3、东北大学王斐团队研发的MYO智能腕带系统，腕带通过检测用户运动时胳膊上肌肉产生的生物电变化，配合手臂的物理动作监控来做人机交互，在方便实用的同时，又增加了识别的准确性。

这些技术各有优势但或多或少存在依赖外部设备的问题，如Kinect设备，价格没有优势且携带不便。

发明内容

本发明的目的在于提供一种基于SSD神经网络的简单手语实时识别系统及方法，以解决上述背景技术中提出的问题。所述基于SSD神经网络的简单手语实时识别系统及方法，提供一种基于SSD神经网络的、利用普通摄像头的、不依靠外部设备的实时手语翻译系统，它具有识别率高，成本低廉的优点。

为实现上述目的，本发明提供如下技术方案：

一种基于SSD神经网络的简单手语实时识别系统，包括：

图像采集设备，用于对手势进行采集，以及采集每种手势的训练图片；

图片标注工具，对所述图像采集设备收集的每张训练图片某一区域内的手势进行标注，再将标注类别信息存入到标签文件中；

终端计算机，安装深度学习平台，将标签文件载入到深度学习平台并运行，反复训练SSD网络，得到SSD网络模型；

所述SSD网络模型对采集的手势手势都进行检测并翻译；

显示模块，用于对SSD网络模型手势翻译结果以文字的形式进行输出显示。

优选的，所述图像采集设备采用摄像头，该训练图片包括对于每种手势采集若干个不同场景、不同拍摄角度、不同手语人。

优选的，所述图片标注工具LabelImg，某一区域内为划定感兴趣区域，在该感兴趣区域内的手势进行标注。

优选的，所述终端计算机内置配套的linux系统，下载和安装caffe-ssd 深度学习平台，修改标签字典pascalvoc_common.py，运行 tf_convert_data.py程序，将标签文件中准备好的voc格式数据集转换为转换成tfrecords，运行train_ssd_network.py文件，开始训练SSD网络，直到网络训练收敛，到识别效果最好的最终SSD网络模型。

优选的，所述显示模块采用LED显示模块、LCD显示模块、OLED显示模块、COG液晶显示模块或LCM液晶显示模块。