[发明专利]一种人机协作方法及系统

权利要求书

1.一种人机协作方法，其特征在于，包括：

S1，通过第一相机获取协作场景图像；

S2，基于协作场景图像判断协作场景类型；

S3，通过第二相机获取人体的动作图像；

S4，基于所述动作图像获取人体的手部的起始位置；

S5，基于所述场景类型获取人体的手部的终点位置；

S6，基于所述起始位置和所述终点位置对人体的手部的移动轨迹进行预测，获得预测轨迹；

S7，基于所述预测轨迹获取机器人的规划路径；

所述基于协作场景图像判断协作场景类型，包括：

获取所述协作场景图像的特征信息；

将所述特征信息与场景数据库中预存的场景类型特征信息进行匹配，获取协作场景图像的特征信息对应的场景类型；

所述获取所述协作场景图像的特征信息，包括：

将所述协作场景图像转换为灰度图像；

对所述灰度图像进行亮度调节处理，获得调节图像；

对所述调节图像进行降噪处理，获得降噪图像；

对所述降噪图像进行图像分割处理，获得前景图像；

使用预设的特征获取算法获取所述前景图像中包含的特征信息；

所述将所述协作场景图像转换为灰度图像，包括：

通过如下函数对转换过程进行建模：

上述函数中，F(s)表示转换过程建模函数，α、β、δ表示预设的权重系数，α+β+δ＝1，grayu表示灰度图像中的所有像素点组成的集合，F'(s)表示grayu中包含的像素点s的像素值，即为待求解的像素值，Gst(s)表示grayu中包含的像素点s在红色分量图像中对应的像素点的像素值，红色分量图像为协作场景图像在RGB颜色空间的红色分量的图像，ghu表示像素点s的预设大小的邻域中的像素点的集合；Gst(t)表示ghu中的像素点在红色分量图像中对应的像素点的像素值，η(s)和η(t)分别表示像素点s和像素点t在分量η对应的图像中的像素值；

获取使得F(s)最小时F'(s)的值，将F'(s)的值作为像素点s的灰度值。

2.根据权利要求1所述的一种人机协作方法，其特征在于，所述第二相机包括双目RGB相机或TOF相机或结构光相机。

3.根据权利要求1所述的一种人机协作方法，其特征在于，所述基于所述动作图像获取人体的手部的起始位置，包括：

对所述动作图像进行图像识别处理，获取所述动作图像中的手部区域的像素点；

基于动作图像中包含的深度信息获取所述手部区域的像素点在全局坐标系中的三维空间坐标；

计算所有属于手部区域的像素点的像素点的平均三维空间坐标，将所述平均三维空间作为人体的手部的起始位置。

4.一种人机协作系统，其特征在于，包括第一相机模块、第一图像处理模块、第二相机模块、第二图像处理模块、终点获取模块、轨迹预测模块和路径规划模块；

所述第一相机模块用于通过第一相机获取协作场景图像；

所述第一图像处理模块用于基于协作场景图像判断协作场景类型；

所述第二相机模块用于通过第二相机获取人体的动作图像；

所述第二图像处理模块用于基于所述动作图像获取人体的手部的起始位置；

所述终点获取模块用于基于所述场景类型获取人体的手部的终点位置；

所述轨迹预测模块用于基于所述起始位置和所述终点位置对人体的手部的移动轨迹进行预测，获得预测轨迹；

所述路径规划模块用于基于所述预测轨迹获取机器人的规划路径；

所述基于协作场景图像判断协作场景类型，包括：

获取所述协作场景图像的特征信息；

将所述特征信息与场景数据库中预存的场景类型特征信息进行匹配，获取协作场景图像的特征信息对应的场景类型；

所述获取所述协作场景图像的特征信息，包括：

将所述协作场景图像转换为灰度图像；

对所述灰度图像进行亮度调节处理，获得调节图像；

对所述调节图像进行降噪处理，获得降噪图像；

对所述降噪图像进行图像分割处理，获得前景图像；

使用预设的特征获取算法获取所述前景图像中包含的特征信息；

所述将所述协作场景图像转换为灰度图像，包括：

通过如下函数对转换过程进行建模：

上述函数中，F(s)表示转换过程建模函数，α、β、δ表示预设的权重系数，α+β+δ＝1，grayu表示灰度图像中的所有像素点组成的集合，F'(s)表示grayu中包含的像素点s的像素值，即为待求解的像素值，Gst(s)表示grayu中包含的像素点s在红色分量图像中对应的像素点的像素值，红色分量图像为协作场景图像在RGB颜色空间的红色分量的图像，ghu表示像素点s的预设大小的邻域中的像素点的集合；Gst(t)表示ghu中的像素点在红色分量图像中对应的像素点的像素值，η(s)和η(t)分别表示像素点s和像素点t在分量η对应的图像中的像素值；

获取使得F(s)最小时F'(s)的值，将F'(s)的值作为像素点s的灰度值。