[发明专利]一种通过摄像头远程操作机械手的方法

说明书

本发明公开了一种通过摄像头远程操作机械手的方法，包括以下步骤：S1：画面传输；S2：识别手部动作关键点；S3：转化坐标；S4；信息传输，利用图像传感器，将感光单位所产生的信号加载一起，构成一幅完整的画面，并通过摄像头进行实时画面的传输，将摄像头采集的视频信息导入openpose识别出手部的关键点，对关键点转化为相对坐标，将相对坐标传入动作识别程序，检测到初始动作程序开始运作，对关键点转化为相对坐标，对相对坐标处理分析得出具体的手部动作，将处理后的信息转化为控制信号传入机械手，OpenPose可以帮助操作者实时地检测图像或视频中某个人或物的操作点的位置，避免延迟现象的发生，提高机械手的工作效率和准确率。

技术领域

本发明涉及机械手技术领域，具体为一种通过摄像头远程操作机械手的方法。

背景技术

近年来，随着机械手操控技术的发展，尤其是通过采集人手动作数据以模拟人手动作的机械手操控技术，使机械手在各行业具有很大的应用前景。在该类操控技术中，常通过外骨骼、数据手套等穿戴设备对人手动作数据进行采集，而这类穿戴设备的采集是基于其上的传感器，导致其售价偏高，很难实用化，尤其是民用化。

此外，随着机器人技术的快速发展，尤其是民用服务机器人及类人机器人技术，对低成本类操控技术的需求也越来越大，尤其是可对机械手进行远程控制的遥操作技术，然而现有的机械手容易受硬件影响，识别手部动作略有延迟。

因此，我们需要一种通过摄像头远程操作机械手的方法，利用摄像头对操作物的实际操作画面进行采集，通过openpose识别出手部的关键点，将其转化为相对坐标，分析出具体的手部动作，最后转化为控制信号控制机械手动作，避免延迟现象的发生，提高机械手的工作效率和准确率。

发明内容

本发明的目的在于提供一种通过摄像头远程操作机械手的方法，利用摄像头对操作物的实际操作画面进行采集，通过openpose识别出手部的关键点，将其转化为相对坐标，分析出具体的手部动作，最后转化为控制信号控制机械手动作，避免延迟现象的发生，提高机械手的工作效率和准确率，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种通过摄像头远程操作机械手的方法，其特征在于：该保护方法具体步骤如下：

S1：画面传输，启动摄像头，利用图像传感器，将感光单位所产生的信号加载一起，构成一幅完整的画面，并通过摄像头进行实时画面的传输；

S2：识别手部动作关键点，将摄像头采集的视频信息导入openpose识别出手部的关键点；

S3：转化坐标，对关键点转化为相对坐标，将相对坐标传入动作识别程序，检测到初始动作程序开始运作，对关键点转化为相对坐标，对相对坐标处理分析得出具体的手部动作；

S4；信息传输，检测到启动动作则开始识别，将处理后的信息转化为控制信号传入机械手，控制机械手运动。

优选的，所述步骤S1中的图像传感器，是组成数字摄像头的重要组成部分，根据元件的材料不同，可分为电荷藕合器件图像传感器和互补性氧化金属半导体，电荷藕合器件图像传感器和互补性氧化金属半导体在制造上的主要区别是：电荷藕合器件图像传感器是集成在半导体单晶材料上，而互补性氧化金属半导体是集成在被称做金属氧化物的半导体材料上。

优选的，所述步骤S2中的OpenPose是一个多人关键点检测库，它可以帮助操作者实时地检测图像或视频中某个人或物的操作点的位置，OpenPose不仅有 C++的API以使开发者能快速地访问它，同时它还有简单的命令行界面用来处理图像或视频，OpenPose人体姿态识别项目是基于卷积神经网络和监督学习并以caffe为框架开发的开源库，可以实现人体动作、面部表情、手指运动等姿态估计，是世界上首个基于深度学习的实时多人二维姿态估计应用。