[发明专利]信息关联方法、装置和系统

权利要求书

1.一种信息关联方法，其特征在于，所述方法包括：

获取目标区域内的多个视频帧图像；

从多个所述视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹；

如果所述物品处理动作轨迹中包含指定的处理动作，获取所述处理动作对应物品的物品信息；

将所述物品信息与所述目标对象关联。

2.根据权利要求1所述的方法，其特征在于，所述从多个所述视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹的步骤之前，所述方法还包括：

通过第一神经网络对所述视频帧图像进行人脸检测，得到目标对象的人脸数据；

通过第二神经网络对所述人脸数据进行人脸特征提取，得到所述目标对象的人脸特征。

3.根据权利要求1所述的方法，其特征在于，所述从多个所述视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹的步骤之前，所述方法还包括：

通过第三神经网络对所述视频帧图像进行行人检测，得到目标对象的人形数据；所述人形数据通过行人检测框标识；

根据预设的坐标系确定所述目标对象的位置信息；所述坐标系通过摄像装置在所述目标区域内的位置建立；

通过第四神经网络对所述人形数据进行人形特征提取，得到所述目标对象的人形特征；

将多个所述视频帧图像中，相邻视频帧图像之间的人形特征的数值距离小于设定数值阈值的所述人形数据，确定为同一个目标对象的人形数据；

连接同一个目标对象的人形数据，得到所述目标对象的位置移动轨迹。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

如果多个所述视频帧图像中包含多组视频帧图像，分别识别每组视频帧图像中目标对象的位置移动轨迹；其中，每组所述视频帧图像来自同一摄像装置；

根据所述目标对象的人脸特征，以及每组所述视频帧图像对应的所述目标对象的位置移动轨迹，生成所述目标对象的最终位置移动轨迹。

5.根据权利要求1所述的方法，其特征在于，所述从多个所述视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹的步骤，包括：

根据目标对象的位置信息以及物品货架的位置信息，确定所述目标对象与所述物品货架的空间距离；

从所述目标对象的位置移动轨迹中，提取所述空间距离小于设定空间阈值的轨迹片段；

对所述轨迹片段进行采样处理，得到多个待识别子片段；

根据各个所述待识别子片段中的处理动作，得到对应的物品处理动作轨迹；所述处理动作包括拿取物品、放回物品或无动作。

6.根据权利要求5所述的方法，其特征在于，所述根据各个所述待识别子片段的处理动作，得到对应的物品处理动作轨迹的步骤之前，所述方法还包括：

通过第五神经网络对每个所述待识别子片段进行动作分类评分，得到每个所述待识别子片段的分值组合；所述分值组合中包含所述待识别子片段与每类处理动作的匹配度分值；

对相邻所述待识别子片段之间的所述分值组合进行均值平滑处理；

将处理后的每个所述待识别子片段的分值组合中，最高分值对应的处理动作确定为所述待识别子片段的处理动作。

7.根据权利要求5所述的方法，其特征在于，所述根据各个所述待识别子片段中的处理动作，得到对应的物品处理动作轨迹的步骤，包括：

按照时间顺序，对多个所述待识别子片段的处理动作进行合并排列，得到处理动作组合，将所述处理动作组合确定为所述目标对象在指定位置范围内的物品处理动作轨迹。

8.根据权利要求1所述的方法，其特征在于，所述指定的处理动作包括拿取物品或放回物品；

所述获取所述处理动作对应物品的物品信息的步骤，包括：通过第六神经网络识别所述处理动作对应的视频帧图像中的物品信息。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

统计关联后的所述物品信息与所述目标对象，确定所述物品信息对应物品的目标人群和/或所述目标对象喜好的物品类型。