[发明专利]一种基于SSD神经网络的简单手语实时识别系统及方法

权利要求书

1.一种基于SSD神经网络的简单手语实时识别系统，其特征在于，包括：

图像采集设备，用于对手势进行采集，以及采集每种手势的训练图片；

图片标注工具，对所述图像采集设备收集的每张训练图片某一区域内的手势进行标注，再将标注类别信息存入到标签文件中；

终端计算机，安装深度学习平台，将标签文件载入到深度学习平台并运行，反复训练SSD网络，得到SSD网络模型；

所述SSD网络模型对采集的手势手势都进行检测并翻译；

显示模块，用于对SSD网络模型手势翻译结果以文字的形式进行输出显示。

2.根据权利要求1所述的一种基于SSD神经网络的简单手语实时识别系统，其特征在于，所述图像采集设备采用摄像头，该训练图片包括对于每种手势采集若干个不同场景、不同拍摄角度、不同手语人。

3.根据权利要求1所述的一种基于SSD神经网络的简单手语实时识别系统，其特征在于，所述图片标注工具LabelImg，某一区域内为划定感兴趣区域，在该感兴趣区域内的手势进行标注。

4.根据权利要求1所述的一种基于SSD神经网络的简单手语实时识别系统，其特征在于，所述终端计算机内置配套的linux系统，下载和安装caffe-ssd深度学习平台，修改标签字典pascalvoc_common.py，运行tf_convert_data.py程序，将标签文件中准备好的voc格式数据集转换为转换成tfrecords，运行train_ssd_network.py文件，开始训练SSD网络，直到网络训练收敛，到识别效果最好的最终SSD网络模型。

5.根据权利要求1所述的一种基于SSD神经网络的简单手语实时识别系统，其特征在于，所述显示模块采用LED显示模块、LCD显示模块、OLED显示模块、COG液晶显示模块或LCM液晶显示模块。

6.如权利要求1～5中任一项所述的一种基于SSD神经网络的简单手语实时识别方法，其特征在于，包括以下几个步骤：

步骤1：构建训练数据集；

步骤2：构建SSD网络模型的及修改参数；

步骤3：数据集训练；

步骤4：预测并将翻译结果以文字形式显示。

7.根据权利要求6所述的一种基于SSD神经网络的简单手语实时识别方法，其特征在于，

步骤1中，a：采用图像采集设备对于每种手势采集若干个不同场景、不同拍摄角度、不同手语人的训练图片；使用图片标注工具在每张图片上划定感兴趣区域，并对感兴趣区域内的手势进行标注，再将标注类别信息存入到xml格式的标签文件中；

步骤1中，b：利用终端计算机的linux系统下，下载和安装caffe-ssd深度学习平台；

c：修改标签字典pascalvoc_common.py；

d：运行tf_convert_data.py程序，将a中准备好的voc格式数据集转换为转换成tfrecords；

步骤3中，e：运行train_ssd_network.py文件，开始训练SSD网络，直到网络训练收敛，其间修改网络参数得到识别效果最好的最终SSD网络模型；

步骤4中，f：识别时，人站于摄像头前做出手语；

g：运行程序调用摄像头捕捉手语动作并以视频流的形式载入已训练好的模型中进行预测翻译；

h：SSD网络模型对每帧的图片里的手势都进行检测，并进行实时输出实现了实时检测e预测后将翻译结果以文字的形式进行输出显示。