[发明专利]基于顾客动作的商品检索方法、装置及电子设备

权利要求书

1.一种基于顾客动作的商品检索方法，其特征在于，包括如下步骤：

获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；

基于所述图像数据，进行动作识别；

基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；

基于所述商品类型，进行商品检索。

2.根据权利要求1所述的商品检索方法，其特征在于，所述动作识别包括手势识别、手部关键点识别、步态识别、人体姿态识别、手臂识别中的一种或多种。

3.根据权利要求2所述的商品检索方法，其特征在于，通过动作识别模型进行所述动作识别，所述动作识别模型基于手势识别算法、手部关键点识别算法、步态识别算法、人体姿态识别算法、手臂识别算法中的一种或多种形成。

4.根据权利要求3所述的商品检索方法，其特征在于，所述商品与使用动作的映射关系通过如下方法得到：

分别获取多个商品样本以及分别使用各种商品样本时获得的使用动作图像数据样本；

对于所述使用动作图像数据样本通过所述动作识别模型进行动作识别，获得使用动作；

将多个商品样本与其对应的使用动作进行一一对应，形成所述商品与使用动作的映射关系。

5.根据权利要求1所述的商品检索方法，其特征在于，还包括如下步骤：

获取所述顾客的图像数据的同时还获取该顾客的语音数据；

对于所述语音数据进行语义分析，得到语义分析结果；

基于所述语义分析结果，提取商品信息关键字；

在确定商品类型后，通过所述商品信息关键字验证该商品类型的准确性，

当验证准确后，基于所述商品类型进行商品检索。

6.根据权利要求5所述的商品检索方法，其特征在于，基于验证结果对于所述商品与使用动作的映射关系进行迭代更新。

7.一种基于顾客动作的商品推荐方法，其特征在于，包括如下步骤：

通过权利要求1至6任一项所述的商品检索方法进行商品检索；

获取顾客图像；

基于所述顾客图像，提取用户特征，所述用户特征包括年龄、性别、服饰特征、体型特征中的一种或多种；

基于所述商品检索结果，与所述用户特征进行匹配，基于匹配结果向该顾客推荐商品。

8.一种基于顾客动作的商品检索装置，其特征在于，包括：

获取模块，用于获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；

动作识别模块，用于基于所述图像数据进行动作识别；

商品类型确定模块，用于基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；

检索模块，用于基于所述商品类型，进行商品检索。

9.一种用于基于顾客的动作进行商品检索的电子设备，其特征在于，包括：

一个或多个处理器；

一个或多个存储器，其中存储了计算机可读代码，所述计算机可读代码当由所述一个或多个处理器执行时进行如下处理：

获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；

基于所述图像数据，进行动作识别；

基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；

基于所述商品类型，进行商品检索。

10.一种计算机存储介质，其特征在于，其中存储了计算机可读代码，所述计算机可读代码当由一个或多个处理器执行时进行如下处理：

获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；

基于所述图像数据，进行动作识别；

基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；

基于所述商品类型，进行商品检索。