[发明专利]一种智能设备操作行为的检测方法及装置

说明书

本申请涉及计算机技术领域，提供一种智能设备操作行为的检测方法及装置，方法包括：识别图像采集器在同一场景下采集连续的多个图像，确定对应的至少一个手部检测区域，并为至少一个手部检测区域分配对应的用户标签；再确定多个图像中同一用户标签对应的手部检测区域的灰度值集合，若根据多个灰度值集合确定手部检测区域的明暗变化状态符合预设规则，则判定手部检测区域周边存在处于亮屏状态的智能设备，并记录智能设备处于亮屏状态的时刻；若智能设备处于亮屏状态的总时长超过设定阈值，则判定对应的用户存在操作智能设备的行为。在不侵犯用户隐私的前提下，实现对用户的操作智能设备的行为的检测。

技术领域

本申请涉及计算机技术领域，提供了一种智能设备操作行为的检测方法及装置。

背景技术

随着信息技术的快速发展，人们对智能设备的依赖变得越来越严重，甚至在走路和驾驶车辆时都在使用智能设备，出现了很多的安全事故。另外，沉迷智能设备还会分散人员的注意力，降低办事效率。因此，需要对操作智能设备的行为进行检测。

目前针对驾驶员操作智能设备行为的检测有以下两种方式，一种是根据预先训练的模型对用户特征进行分类，判断用户是处于驾车状态还是处于坐车状态；另一种是，将驾驶员在驾驶室操作智能设备的行为的视频样本转化为帧图像，从帧图像上得到动态目标区域包围盒，使用分类器和边框回归器，从输入的动态目标区域包围盒中得到手的动态目标区域包围盒和手机的动态目标区域包围盒，当两个包围盒存在重合现象时，判定驾驶员存在操作智能设备的行为。

而针对行人在过马路时操作智能设备行为的检测，可通过采集行人的智能设备上的GPS信息、传感器信息、当前使用的APP包名信息，先利用GPS信息确定用户处于路口缓冲区内，再利用传感器信息确定用户处于边走路边玩手机姿态，最后利用APP包名信息确定虚拟空间活动类型为非辅助现实空间活动时，判定用户存在过马路操作智能设备的行为。

上述方式只能检测单一场景下的操作智能设备的行为，在检测过程中，还需要获取用户的位置信息等隐私信息，侵犯用户隐私。

有鉴于此，本申请实施例提供了一种新的操作智能设备行为的检测方法。

发明内容

本申请实施例提供一种智能设备操作行为的检测方法及装置，用以解决在侵犯用户隐私的前提下，检测用户的操作智能设备的行为的问题。

第一方面，本申请实施例提供的一种智能设备操作行为的检测方法，包括：

通过图像采集器在同一场景下采集连续的多个图像；

识别所述多个图像中对应的至少一个手部检测区域，并为所述至少一个手部检测区域分配对应的用户标签；

确定所述多个图像中同一用户标签对应的手部检测区域的灰度值集合；

若根据多个灰度值集合确定所述手部检测区域的明暗变化状态符合预设规则，则判定所述手部检测区域周边存在处于亮屏状态的智能设备，并记录所述智能设备处于亮屏状态的时刻；

若所述智能设备处于亮屏状态的总时长超过设定阈值，则判定对应的用户存在操作智能设备的行为。

可选的，在识别所述多个图像中对应的至少一个手部检测区域之前，进一步包括：

使用低通滤波器，过滤所述多个图像上的图像噪声；和/或，

使用高通滤波器，增强所述多个图像上边缘图像的高频信号。

可选的，识别所述多个图像中对应的至少一个手部检测区域，包括：

将所述多个图像分别输入到训练完毕的人体检测模型中，得到对应的至少一个人体检测区域；

将各个人体检测区域输入到训练完毕的手部检测模型中，得到对应的所述手部检测区域。