[发明专利]一种基于机器视觉的非接触式人机对弈控制方法及系统

摘要

本发明公开了一种基于机器视觉的非接触式人机对弈控制方法及系统，该方法通过提出人手肤色检测、背景建模、背景差分和棋子位置检测相结合的象棋棋子运动检测方法，实现对棋盘无接触式的检测，获得棋子运动轨迹；该系统由普通中国象棋、uArm四自由度机械臂、吸盘、摄像头、光源以及控制单元构成，整个系统结构简单、操作简便，使得在人机对弈过程中，人在走完己方棋步后无需接触任何按键即可自动触发象棋机器人执行对应的对局棋步动作，实现非接触式的人机对弈，并且在相对复杂的环境下也有较好的稳定性。

主权项

1.一种基于机器视觉的非接触式人机对弈控制方法，其特征在于，包括以下步骤：/n步骤1：构建象棋机器人图像采集单元；/n所述图像采集单元包括平面光源和摄像头，将平面光源设置于棋盘一侧，摄像头设置于棋盘正上方，所述摄像头和平面光源均受控于象棋机器人的控制单元；/n步骤2：利用图像采集单元实时采集的无人手皮肤的棋盘图像序列构建棋盘背景模型；/n步骤3：基于棋盘背景模型，将实时采集的棋盘图像与前一帧棋盘判断图像对比，进行棋子运动检测；/n步骤4：若检测到棋子发生运动，则利用两帧图像的差值，确定人脑方的棋子的运动位置，否则，采集下一帧棋盘图像，重复步骤3；/n步骤5：将棋子的运动位置传输至象棋机器人控制单元，判断当前棋局是否结束，若结束，则输出当前棋局结束，否则，输出象棋机器人的下一步棋子运动轨迹指令，象棋机器人的手臂执行端依据棋子运动轨迹指令移动棋子，并采集下一组无人手皮肤的棋盘图像序列，重复步骤2，更新棋盘背景模型；/n所述棋盘背景模型的构建过程如下：/n步骤2.1：利用图像采集单元连续采集20帧棋盘图像；/n步骤2.2：对所采集20帧棋盘图像进行人手肤色检测，若20帧图像中存在人手皮肤的图像，则继续采集下一组20帧棋盘图像，否则，将当前的20帧棋盘图像作为样本集，得到棋盘背景模型，并将当前的20帧棋盘图像中的首帧作为第一帧棋盘判断图像；/n所述对所采集20帧棋盘图像进行人手肤色检测的过程如下：/n步骤2.2.1：将所采集20帧棋盘图像依次进行滤波预处理和BGR通道分离；/n步骤2.2.2：对所有经过BGR通道分离后的图像均进行光照补偿处理；/n首先，计算每幅图像的B、G、R三个通道的分量平均值和图像平均灰度avgGray：/n /n /n其中，n为每幅图像的总像素个数，Bi、Gi、Ri分别表示每幅图像的B、G、R三个通道中第i个像素点的分量值；/n其次，再计算平均灰度与各个通道分量值的比值ar、ag、ab；/n /n接着，通过ar、ag、ab调整各个通道分量，得到新的各个通道分量值；/nB′＝B*ab，G′＝G*ag，R′＝R*ar；/n最后，将得到的新的三个通道图像融合为新的BGR彩色图像，得到经过光照补偿处理后的图像；/n步骤2.2.3：将所有光照补偿处理后的图像转换到YCrCb颜色空间进行像素遍历，将满足132<Cr<150且76<Cb<127之间的像素的像素值置为255，不满足的像素的像素值置为0，得到阈值处理后的二值化图像，其中，Cr表示像素色调值，Cb表示像素饱和度；/n步骤2.2.4：对二值化图像进行轮廓处理并统计轮廓区域个数，对各个轮廓区域进行面积大小判断，当面积大于400个像素时，表明当前图像中有人手的存在。/n