[发明专利]物体的类别识别方法和装置

权利要求书

1.一种物体的类别识别方法，其特征在于，包括以下步骤：

根据操作物体前采集的第一物体图像，以及操作物体后采集的第二物体图像，确定呈现有被操作物体的局部图；

对所述局部图进行物体类别的识别；

若识别得到的物体类别的置信度低于预设阈值，确定在操作物体过程中对用户动作进行监测得到的动作类型；

若所述动作类型是放下，则获取监测到用户动作的时刻之前采集的多帧连续图像；

若所述动作类型是取走，则获取监测到用户动作的时刻之后采集的多帧连续图像；

根据所述局部图，对操作物体过程中采集的多帧连续图像进行跟踪，确定所述多帧连续图像对应的跟踪区域；

对所述多帧连续图像对应的跟踪区域进行特征提取，得到区域特征；

对所述多帧连续图像对应的跟踪区域的区域特征，进行加权求和得到目标区域特征；

根据所述目标区域特征进行物体类别的识别。

2.根据权利要求1所述的类别识别方法，其特征在于，所述根据操作物体前采集的第一物体图像，以及操作物体后采集的第二物体图像，确定呈现有被操作物体的局部图，包括：

将所述第一物体图像和所述第二物体图像进行比对，以确定存在差异的差异区域；

将所述第一物体图像中的所述差异区域确定为所述第一候选图像；

将所述第二物体图像中的所述差异区域确定为所述第二候选图像；

从所述第一候选图像和所述第二候选图像中选取呈现有所述被操作物体的图像作为所述局部图。

3.根据权利要求1-2任一所述的类别识别方法，其特征在于，所述根据所述局部图，对操作物体过程中采集的多帧连续图像进行跟踪，确定所述多帧连续图像对应的跟踪区域，包括：

针对每一帧连续图像，将相应连续图像中各区域与所述局部图匹配，以从相应连续图像中，确定与所述局部图匹配度大于阈值的跟踪区域。

4.一种物体的类别识别装置，其特征在于，包括：

确定模块，用于根据操作物体前采集的第一物体图像，以及操作物体后采集的第二物体图像，确定呈现有被操作物体的局部图；

第二识别模块，用于对所述局部图进行物体类别的识别；

获取模块，用于若识别得到的物体类别的置信度低于预设阈值，确定在操作物体过程中对用户动作进行监测得到的动作类型，若所述动作类型是放下，则获取监测到用户动作的时刻之前采集的多帧连续图像；若所述动作类型是取走，则获取监测到用户动作的时刻之后采集的多帧连续图像；

跟踪模块，用于根据所述局部图，对操作物体过程中采集的多帧连续图像进行跟踪，确定所述多帧连续图像对应的跟踪区域；

第一识别模块，用于对所述多帧连续图像对应的跟踪区域进行特征提取，得到区域特征；对所述多帧连续图像对应的跟踪区域的区域特征，进行加权求和得到目标区域特征；根据所述目标区域特征进行物体类别的识别。

5.根据权利要求4所述的类别识别装置，其特征在于，所述确定模块，具体用于：

将所述第一物体图像和所述第二物体图像进行比对，以确定存在差异的差异区域；

将所述第一物体图像中的所述差异区域确定为所述第一候选图像；

将所述第二物体图像中的所述差异区域确定为所述第二候选图像；

从所述第一候选图像和所述第二候选图像中选取呈现有所述被操作物体的图像作为所述局部图。

6.根据权利要求4-5任一所述的类别识别装置，其特征在于，所述跟踪模块，具体用于：

针对每一帧连续图像，将相应连续图像中各区域与所述局部图匹配，以从相应连续图像中，确定与所述局部图匹配度大于阈值的跟踪区域。

7.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-3中任一所述的类别识别方法。

8.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的类别识别方法。