[发明专利]一种非侵入式可视化测试脚本自动录制方法

权利要求书

1.一种非侵入式可视化测试脚本自动录制方法，其特征在于，包括以下步骤：

(1)按照规定的操作要求执行并使用深度相机拍摄一次测试过程；

(2)对步骤(1)中深度相机拍摄的视频文件的每一帧RGB图像进行分析，通过基于深度神经网络的手部关键点检测，获取手部关键点，并根据检测结果中对手部各关键点的标注获取食指指尖在RGB图像中的二维坐标，对检测后的帧进行过滤，去除手部关键点检测有误的帧；

(3)对于保留的帧图像的每一帧中的食指尖的二维坐标，使用深度相机计算其对应的深度信息，获取指尖点在深度相机坐标系中的三维空间坐标，对指尖到屏幕法向量方向的距离、屏幕的响应情况以及手指尖在屏幕法向量方向移动的速度进行综合评估以判断手指是否接触屏幕；

(4)判断手指接触屏幕后，根据食指指尖的三维空间坐标、食指在三维空间中的方向以及指尖与指腹、指尖相邻指关节的相对位置关系推测出实际触控点；

(5)对每一次测试操作前的RGB帧图像，根据步骤(4)推测出的实际触控点，在屏幕区域中使用目标检测方法获取被触控的控件图像并将其提取出来；

(6)基于识别出的动作类型和控件图标，根据预定语法生成可视化测试脚本。

2.根据权利要求1所述非侵入式可视化测试脚本自动录制方法，其特征在于，在步骤(1)中，拍摄时将待测触屏设备平稳放置在桌面，使设备屏幕与桌面夹角在90°到135°之间；将深度相机面向待测触屏设备屏幕摆放，深度相机镜头拍摄方向与桌面平行，确保拍摄范围覆盖待测触屏设备屏幕区域；操作时手指从视频画面底部移入，以伸出的与屏幕平面大致平行的食指点击屏幕完成触屏操作，其它手指保持蜷曲；每次操作结束后将手部按移入时的反方向全部移出视频画面。

3.根据权利要求2所述非侵入式可视化测试脚本自动录制方法，其特征在于，在步骤(2)中，对于深度相机拍摄的每一RGB帧frame，根据手部关键点检测获得的食指指尖F_tipA在以图像左上角为原点的RGB图像坐标系中的二维坐标(x_a，y_a)、与指尖F_tipA相邻的指关节F_tipB的二维坐标(x_b，y_b)以及任一其它手指指关节F_tipC的坐标(x_c，y_c)，对该帧进行过滤：

(a)使用基于颜色空间的方法判断frame中手指所在位置的颜色值是否在正常皮肤颜色范围内，若不在，则说明手指没有出现在图像中，手部关键点检测将图像中其他物体识别为手指，检测有误，过滤掉frame；

(b)如果y_a＞y_b或y_a＞y_c，说明在此帧图像中，食指的指尖在其他手部关键点下方，由于测试操作时食指从视频画面下方移入并且其他手指蜷曲，这种情况违反手指形态自然规律，因此过滤掉frame；

(c)计算在RGB图像中(x_a，y_a)与(x_c，y_c)的二维距离l₁，和(x_a，y_a)与(x_b，y_b)的二维距离l₂，若l₁＜l₂，说明检测到的食指指尖点与其他手指关节距离过近，不符合步骤(1)中规定的食指伸出、其他手指蜷曲的操作方式，因此过滤掉frame。