[发明专利]利用手势识别控制数字标牌的方法和系统

说明书

技术领域

本发明涉及人机视觉互动领域，尤其是指一种利用手势识别控制数字标牌进行翻页操作的方法和系统。

背景技术

当前主流公告广告展示形式主要有两种：非互动数字标牌和利用触摸屏的互动数字标牌。

非互动数字标牌主要采用定时切换公告广告的方式，用户在某一时刻停留在所述数字标牌前，只能被动接受此时标牌上显示的信息，而无法看到其他的信息，用户如果不感兴趣，就可能立刻走开；即使用户正好看到自己感兴趣的信息，也无法重复仔细观看。这种方式用户的方便性较差，展示效果不好。

利用触摸屏的互动数字标牌，可以应用户的请求而选择特定的信息，在短时间内就可以让用户找到感兴趣的信息，也可以让用户重复仔细观看，用户方便性高，展示效果好。但是采用触摸屏会导致成本较高，特别是公告广告往往需要较大的屏幕，而触摸屏的价格是随着展示屏幕的尺寸呈指数性增长的。

为了解决这一问题，本发明提供了一种利用手势识别控制数字标牌进行翻页操作的方法和系统。

发明内容

本发明利用手势识别控制数字标牌的方法，包括以下步骤：

步骤1：持续采集用户图像，从每一帧用户图像中同时提取肤色二值图像和运动物体二值图像，将所述肤色二值图像和所述运动物体二值图像进行相交运算，得到人手二值图像。

其中，从所述用户图像中提取肤色二值图像，是将所述用户图像转换为HSV图像，对所述HSV图像分别按照预先设定好的H、S、V分量的阈值范围进行调节，得到三个分量二值图像，对三个分量图像进行相交运算，最终得到肤色二值图像；所述H分量阈值范围为[0，0.156]∪[0.609，1.000]，所述S分量阈值范围为[0.156~0.664]，所述V分量阈值范围为[0.117,0.742]。

同时，对于所述用户图像，采用帧间差分法提取运动物体二值图像。所述帧间差分法提取运动物体二值图像，是先将当前帧和前一帧的所述用户图像转换为灰度图像，然后对当前帧和前一帧的所述灰度图像进行逐行扫描，在每一个像素点上，如果当前帧该点灰度值减去前一帧该点灰度值大于某一个阈值，则认为此点是移动的点，否则认为此点没有移动。将当前帧认定为移动的点取集合，得到运动物体二值图像；

将所述肤色二值图像和所述运动物体二值图像进行相交运算，得到人手二值图像。

优选的，采集到所述用户图像后，在进行步骤1以前，先对所述用户图像进行简单平滑处理，再利用均值漂移分割方法将其分割为边界明显的几个区域，这样能达到减小图像，降低运算复杂度，提高时效性的目的。

步骤2：对所述人手二值图像进行扩张腐蚀得到相对平滑图像，从所述相对平滑图像中检测出人手轮廓链表，从人手轮廓链表中提取出外接区域，得到外接矩形图像。

步骤3：对当前每一帧所述外接矩形图像的长宽比进行判断，如果确定为无效，不进行后续步骤，如果确定为用户穿长袖上衣或短袖上衣，则进行步骤4；

本发明中，如果所述外接矩形图像的长宽比在2和4之间，则系统判断为无效，如果所述外接矩形图像的长宽比小于2，则判断用户穿长袖上衣，如果所述外接矩形图像的长宽比大于4，则判断用户穿短袖上衣；

步骤4：通过判断当前帧相对于前一帧的所述外接矩形图像的中心点的水平移动方向和水平移动距离，以及比较当前帧的所述人手二值图像的重心到所述外接矩形图像左边界和右边界距离的大小，并结合用户为长袖上衣或短袖上衣的不同情况，来确定用户是否向右或向左挥手并触发一次相应的翻页操作。

具体方式如下：

若当前帧相较于前一帧，外接矩形图像的中心点向左移动，且水平移动距离大于阈值A，且当前帧人手二值图像的重心到外接矩形图像左边界的距离大于到右边界的距离，且用户穿长袖上衣，则认为是一次从右向左的挥手动作，触发一次向前或向后的翻页动作；

若当前帧相较于前一帧，外接矩形图像的中心点向右移动，且水平移动距离大于阈值A，且当前帧人手二值图像的重心到外接矩形图像左边界的距离小于到右边界的距离，且用户穿长袖上衣，则认为是一次从左向右的挥手动作，触发一次和从右向左挥手动作相反的翻页动作，即向后或向前翻一页；

若当前帧相较于前一帧，外接矩形图像的中心点向左移动，且水平移动距离大于阈值B，且当前帧人手二值图像的重心到外接矩形图像左边界的距离小于到右边界的距离，且用户穿短袖上衣，则认为是一次从右向左的挥手动作，触发一次向前或向后的翻页动作。