[发明专利]一种通过摄像头远程操作机械手的方法

权利要求书

1.一种通过摄像头远程操作机械手的方法，其特征在于：该保护方法具体步骤如下：

S1：画面传输，启动摄像头，利用图像传感器，将感光单位所产生的信号加载一起，构成一幅完整的画面，并通过摄像头进行实时画面的传输；

S2：识别手部动作关键点，将摄像头采集的视频信息导入openpose识别出手部的关键点；

S3：转化坐标，对关键点转化为相对坐标，将相对坐标传入动作识别程序，检测到初始动作程序开始运作，对关键点转化为相对坐标，对相对坐标处理分析得出具体的手部动作；

S4；信息传输，检测到启动动作则开始识别，将处理后的信息转化为控制信号传入机械手，控制机械手运动。

2.根据权利要求1所述的一种通过摄像头远程操作机械手的方法，其特征在于：所述步骤S1中的图像传感器，是组成数字摄像头的重要组成部分，根据元件的材料不同，可分为电荷藕合器件图像传感器和互补性氧化金属半导体，电荷藕合器件图像传感器和互补性氧化金属半导体在制造上的主要区别是：电荷藕合器件图像传感器是集成在半导体单晶材料上，而互补性氧化金属半导体是集成在被称做金属氧化物的半导体材料上。

3.根据权利要求1所述的一种通过摄像头远程操作机械手的方法，其特征在于：所述步骤S2中的OpenPose是一个多人关键点检测库，它可以帮助操作者实时地检测图像或视频中某个人或物的操作点的位置，OpenPose不仅有 C++的API以使开发者能快速地访问它，同时它还有简单的命令行界面用来处理图像或视频，OpenPose人体姿态识别项目是基于卷积神经网络和监督学习并以caffe为框架开发的开源库，可以实现人体动作、面部表情、手指运动等姿态估计，是世界上首个基于深度学习的实时多人二维姿态估计应用。

4.根据权利要求3所述的一种通过摄像头远程操作机械手的方法，其特征在于：所述Caffe框架是一种开源软件框架，内部提供了一套基本的编程框架，或者说一个模板框架，用以实现GPU并行架构下的深度卷积神经网络深度学习等算法，我们可以按照框架定义各种各样的卷积神经网络的结构，并且可以再此框架下增加自己的代码，设计新的算法。

5.根据权利要求1所述的一种通过摄像头远程操作机械手的方法，其特征在于：所述步骤S3中的动作识别程序是通过计算机对传感器（摄像机）采集的原始图像或图像序列数据进行处理和分析，学习并理解其中人的动作和行为。

6.根据权利要求1所述的一种通过摄像头远程操作机械手的方法，其特征在于：所述步骤S3中的将“关键点转化为相对坐标”的方法时通过程序操作人员以数组形式传递多个3D坐标作为图形渲染管线的输入，用来表示三角形，这个数组叫做定点数据(Vertex Data),定点数据是一系列定点的集合,一个顶点(Vertex)是一个3D坐标的集合，图形渲染管线的第一个部分是顶点着色器，它把单独的顶点作为输入，顶点着色器的主要目的是吧3D坐标转换成另外一种3D坐标，同时顶点着色器允许我们对顶点属性进行一些基本处理；图元装配阶段是将顶点着色器输出的顶点作为一个输入，并把所有的点装配成指定图元的形状；图元装配阶段的输出会传递给几何着色器；集合着色器把图元形式的一系列定点作为集合的输入，它可以通过产生新的顶点构造出新的（或者其他的）图元来生成其他的形状。

7.根据权利要求1所述的一种通过摄像头远程操作机械手的方法，其特征在于：所述步骤S4中的控制信号，有的是微处理器送往存储器和输入输出设备接口电路的，比如：读/写信号、片选信号、中断响应信号等；也有是其它部件反馈给CPU的，比如：中断申请信号、复位信号、总线请求信号、设备就绪信号等，根据具体的操作程序进行信号的转换和传输。