[发明专利]用户操作的检测方法和装置

说明书

本发明实施例提供一种用户操作的检测方法和装置，该用户操作的检测方法包括：确定每一个待检测视频片段中目标对象的手部状态信息；其中，手部状态信息为手部伸入货架的状态或手部离开货架的状态，每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态；根据手部状态信息确定每一个待检测视频片段中的目标对象的用户操作。本发明实施例提供的用户操作的检测方法和装置，提高了对用户操作检测的准确度。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种用户操作的检测方法和装置。

背景技术

随着无人超市的兴起，如何实现自动结算就显得至关重要。在实现自动结算时，需要对客户的购物行为进行分析，从而确定客户购买的商品。

现有技术中，在对客户的购物行为进行分析时，主要是分析客户的购物动作，是通过将连续视频中的视频片段的第一帧图像与最后一帧图像进行比较，具体是将第一帧图像中的商品与最后一帧图像中的商品进行比较，从而确定客户执行过的拿取商品的操作，进而确定客户购买的商品。

但是，当图像中的商品较多或者商品之间存在遮挡时，采用图像帧中商品比较的方式，使得对客户执行的动作检测的准确度不高。

发明内容

本发明实施例提供一种用户操作的检测方法和装置，以提高对用户操作检测的准确度。

第一方面，本发明实施例提供一种用户操作的检测方法，该用户操作的检测方法可以包括：

确定每一个待检测视频片段中目标对象的手部状态信息；其中，所述手部状态信息为手部伸入货架的状态或手部离开货架的状态，所述每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态；

根据所述手部状态信息确定所述每一个待检测视频片段中的目标对象的用户操作。

在一种可能的实现方式中，所述目标对象的用户操作包括下述任一种：

拿取操作、放回操作、观察操作及更换操作。

在一种可能的实现方式中，所述确定每一个待检测视频片段中目标对象的手部状态信息之前，还包括：

提取待检测视频中所述目标对象的手部状态信息；

根据所述目标对象的手部状态信息将所述待检测视频进行划分，得到所述每一个待检测视频片段。

在一种可能的实现方式中，所述根据所述目标对象的手部状态信息将所述待检测视频进行划分，得到所述每一个待检测视频片段，包括：

根据所述目标对象的第i个手部伸入货架的状态和其对应的手部离开货架的状态将所述待检测视频进行划分，得到第i个待检测视频片段；其中，i为大于等于1的整数。

在一种可能的实现方式中，若所述待检测视频片段中的目标对象的用户操作为拿取操作，所述根据所述手部状态信息确定所述每一个待检测视频片段中的目标对象的用户操作之后，还包括：

确定所述目标对象所拿取的商品；

根据所述商品的价格确定所述目标对象的待付款金额。

在一种可能的实现方式中，所述提取待检测视频中所述目标对象的手部状态信息，包括：

根据预设算法提取待检测视频中的目标对象的手部状态信息；

其中，所述预设算法为卷积神经网络CNN、循环神经网络RNN或光流算法中的至少一种。

第二方面，本发明实施例还提供一种用户操作的检测装置，该用户操作的检测装置可以包括：