[发明专利]一种基于E-SOINN网络的在线人机交互方法

摘要

本发明公开了一种基于E‑SOINN网络的在线人机交互方法，包括采集手势动作视频，通过帧间差分法获得手势轮廓图像，进行E‑SOINN自组织增量神经网络学习等训练神经网络的步骤；和手机采集手势视频，获得手势轮廓图像和通过网络实现手势识别的手势判断的步骤。本发明是主要针对廉价移动终端开发交互手势识别方法。基于帧间差分法和E‑SOINN自组织增量神经网络，客户端采集手势视频，通过网络就可以实现手势识别。实现低性能的移动终端手势识别过程。

主权项

一种基于E‑SOINN网络的在线人机交互方法，其特征在于包括下述步骤：(1)训练神经网络：1.1从视频库中获取一段手势动作帧序列，假设总帧数为n；1.2从帧序列提取第i帧，第i+1帧，第i+2帧图像，记为：Ii,Ii+1,Ii+2，i的初始值为1；1.3将图像Ii分解为RGB三通道，根据图像Ii的RGB三个分量中各自的平均值确定出图像Ii的平均灰度值，然后调整图像Ii每个像素的RGB值，使得调整后图像Ii的RGB三个分量中各自的平均值都趋于平均灰度值；1.4对图像的红色通道进行如下处理：1.4.1假设IRi，IRi+1，IRi+2分别对应图像Ii，Ii+1，Ii+2的红色通道图像，记其像素点(x，y)的亮度值记分别为IRi(x,y)、IRi+1(x,y)和IRi+2(x,y)，按照以下公式分别得到像素点(x，y)的差分图像DRi(x,y)和DRi+1(x,y)；DRi(x,y)＝|IRi(x,y)‑IRi+1(x,y)|DRi+1(x,y)＝|IRi+1(x,y)‑IRi+2(x,y)|1.4.2对差分图像DRi(x,y)和DRi+1(x,y)按照以下公式进行与操作，得到像素点(x，y)的图像DRi'(x,y)；BRi(x,y)=1,DRi(x,y)≥T0,DRi(x,y)<T]]>BRi+1(x,y)=1,DRi+1(x,y)≥T0,DRi+1(x,y)<T]]>DRi′(x,y)＝BRi(x,y)∩BRi+1(x,y)其中∩是“与”运算，T是一个阈值；1.5按照步骤1.4分别对绿蓝通道进行相同的处理；得到像素点(x，y)的图像DGi'(x,y)和图像DBi'(x,y)；1.6根据像素点(x，y)的图像DRi(x,y)、图像DGi'(x,y)和图像DBi'(x,y)得到整个图像DRi'、DGi'、DBi'，对得到的三个图像DRi'、DGi'、DBi'进行以下公式运算，得到图像Di'：Di′＝DRi∩DGi∩DBi其中∩是“与”运算；1.7根据人体肤色灰度值数据Gskin，标记出图像Di'中的手轮廓Aj；通过数学形态学方法填充图像Di'中的手轮廓；Gskin值通过100张照片数据求平均值得出；1.8轮廓外区域设置颜色值为0，轮廓内区域设置颜色值为INT(256*i/n)，得到图像Si；1.9如果第i帧是倒数第二帧，则执行步骤1.10，否则，则i＝i+1，跳转到步骤1.3；1.10把图像Si输入到E‑SOINN自组织增量神经网络中进行训练，输入下个视频，跳转到步骤1.1；1.11对训练库里的所有视频执行步骤1.1‑1.10后，得到训练好的神经网络；(2)手势判断：2.1在客户端，通过摄像头拍摄获取到一段手势动作帧序列，假设总帧数为n；2.2执行训练神经网络步骤中的1.2‑1.9步骤，得到图像S；2.3把图像S通过互联网发送至服务器端，保存在服务器端存储器中；2.4服务器端在接收到图像S后，输入到训练好的E‑SOINN自组织增量神经网络中，判断出输入的手势动作属于什么类型手势；2.5把结果输出，发送至客户端,进行相应手势操作。