[发明专利]基于手势滑动的人机验证方法

摘要

本发明提出了一种基于手势滑动的人机验证方法，在保证用户友好性的基础上有效提高人机验证的安全性，实现步骤为：1.构建手势数据集；2.对目标检测网络YOLO V3进行改进；3.对改进的目标检测网络YOLO V3进行训练；4.生成手势滑动验证码的用户验证界面；5.判断实时检测到的手中心位置的标记是否移动到目标轨迹的起点；6.判断实时检测到的手中心位置的标记是否移动到目标轨迹的终点；7.对用户进行人机验证。本发明将基于手势的人机验证方法和基于滑动的人机验证方法相结合对用户进行人机验证，降低互联网受到恶意攻击的风险，可用于登陆、注册等网络场景下对用户进行人机验证。

主权项

1.一种基于手势滑动的人机验证方法，其特征在于，包括如下步骤：(1)构建手势数据集：(1a)将摄像头拍摄的多帧手势动画以图片形式保存到JPEGImages文件夹中，并对每幅图片进行命名，然后将一半以上的图片作为训练样本集，剩余图片的部分作为验证样本集，另一部分作为测试样本集，最后将所有样本集中的名称写入ImageSets/Main文件夹下的train.txt、val.txt、test.txt文件中，将训练样本集和验证样本集的名称写入ImageSets/Main文件夹下的trainval.txt文件中；(1b)对JPEGImages文件夹中每幅图片所包含的手势的边界框标注后的标注信息进行标准化处理，得到边界框为正方形的处理结果，并将处理结果以xml格式保存到Annotations文件夹中，每个xml格式文件的名称与其包含的标注信息所对应的图片名称相同，然后从Annotations文件夹中选取与train.txt文件中每幅图片名称相同的xml文件作为训练样本集的标注信息集，选取与val.txt文件中每幅图片名称相同的xml文件作为验证样本集的标注信息集，选取与test.txt文件中每幅图片的名称相同的xml文件作为测试样本集的标注信息集；(1c)将训练样本集及其标注信息集作为训练集，将验证样本集及其标注信息集作为验证集，同时将测试样本集及其标注信息集作为测试集，并将训练集、验证集和测试集合并为手势数据集；(2)对目标检测网络YOLO V3进行改进：将目标检测网络YOLO V3中的特征提取模块重构为Conv_cRelu子模块、Mixed_5b_dilation_module子模块和InvertedResidual子模块，同时删除YOLO V3中目标预测模块中与最浅层特征融合的输出层，得到改进的目标检测网络YOLO V3；(3)对改进的目标检测网络YOLO V3进行训练:(3a)采用随机数对改进的目标检测网络YOLO V3中的训练参数进行初始化；(3b)从手势数据集中的训练集中随机选取固定张图片作为一个批次进行数据增强，并将得到包含多样化样本的训练集，输入到改进后的目标检测网络YOLO V3中，共进行N次迭代，N≥10000，得到训练好的改进的目标检测网络YOLO V3；(4)生成手势滑动验证码的用户验证界面：(4a)在用户终端的屏幕上划定验证码的验证区域，并将用户终端中的摄像头拍摄的内容实时反馈在验证区域内，然后通过训练好的改进的目标检测网络YOLO V3对验证区域内反馈的内容进行持续检测，若反馈的内容中有手存在，则对手的中心位置进行标记；(4b)在验证区域内标注两个以上随机点，并固定各随机点的位置，然后通过直线依次将各随机点连接，形成目标轨迹，并将验证区域内反馈的内容、手中心位置的标记和目标轨迹作为手势滑动验证码的用户验证界面；(5)判断实时检测到的手中心位置的标记是否移动到目标轨迹的起点：在T时间内持续判断实时检测到的手中心位置的标记是否移动到目标轨迹的起点，若是，持续记录用户手中心位置的坐标点，并执行步骤(6)，否则执行步骤(4)，T≥30s；(6)判断实时检测到的手中心位置的标记是否移动到目标轨迹的终点：在T时间内持续判断实时检测到的手中心位置的标记是否移动到目标轨迹的终点，若是，停止记录用户手中心位置的坐标点，并将所记录的内容作为用户手势滑动信息，并执行步骤(7)，否则，执行步骤(4)，T≥30s；(7)对用户进行人机验证：(7a)通过异常点对用户进行初步人机验证：判断用户手势滑动信息中的每一个坐标点到目标轨迹的距离是否小于S，若是，则该坐标点为正常点，否则，则该坐标点为异常点；计算所有异常点的中心坐标以及每一个异常点到所有异常点中心坐标距离的平均值，若该平均值小于M，则判定所有异常点是由合法用户错误操作引起，并将其从手中心位置的坐标点的记录中去除，执行步骤(7b)，否则，判定用户为机器，其中S≥100，M≥2；(7b)通过目标轨迹对用户进行最终人机验证：判断每个正常点到目标轨迹距离中的最大值D是否满足D≤20，若是，则用户合法，否则，判断αD范围内正常点占所有正常点的比例P是否满足P≥β，若是，则判定用户为人类，否则判定用户为机器，其中α≥0.5，β≥0.5。