[发明专利]物品信息识别方法、制冷设备和计算机存储介质

权利要求书

1.一种物品信息识别方法，其特征在于，包括步骤：

对连续拍摄的各视频帧图像进行图像处理，其中，于所述各视频帧图像中识别出相交轮廓线组成的轮廓框，定义为第一像素区域，第二像素区域和第三像素区域，所述第一像素区域为抽屉外侧区域，所述第二像素区域为抽屉内空间可见区域，所述第三像素区域为抽屉内空间被遮挡区域；于所述各视频帧图像中分割出多个检测框，每个检测框对应于一个特征物品，并识别所述检测框内的特征物品，所述特征物品包括食材特征和手部特征；

当检测到所述手部特征的检测框与所述食材特征的检测框相重叠时，系统进入存取模式；

在所述存取模式下，持续对与所述手部特征的检测框相重叠的所述食材特征的检测框进行追踪；

当检测到与所述手部特征的检测框相重叠的所述食材特征的检测框消失于所述视频帧图像时，则获取所述食材特征的检测框消失前的一视频帧图像；

若所述食材特征的检测框消失前的一视频帧图像中该食材特征的检测框的中心点位于所述第一像素区域，则判断该食材为取出；

若所述食材特征的检测框消失前的一视频帧图像中该食材特征的检测框的中心点位于所述第二像素区域，则判断该食材为存入。

2.根据权利要求1所述的物品信息识别方法，其特征在于，当所述抽屉打开时，触发开始拍摄指令；当所述抽屉关闭时，触发关闭拍摄指令。

3.根据权利要求1所述的物品信息识别方法，其特征在于，当检测到所述手部特征的检测框与所述食材特征的检测框相重叠时，系统进入存取模式，具体包括：

于所述各视频帧图像中建立坐标系，并获取各所述特征物品检测框的坐标范围；

当检测到所述手部特征的检测框的坐标范围与所述食材特征的检测框的坐标范围有部分重叠时，则系统进入存取模式。

4.根据权利要求3所述的物品信息识别方法，其特征在于，当检测到所述手部特征的检测框与所述食材特征的检测框相重叠时，系统进入存取模式，具体还包括：

当检测到至少连续5-10帧视频帧图像中所述手部特征的检测框与所述食材特征的检测框均有重叠，则判定此行为为手持食材；

当出现所述手持食材行为后，系统进入存取模式。

5.根据权利要求1所述的物品信息识别方法，其特征在于，所述在所述存取模式下，持续对与所述手部特征的检测框相重叠的所述食材特征的检测框进行追踪，具体还包括：

在所述存取模式下，当检测到相重叠的所述手部特征的检测框和所述食材特征的检测框分离，且两检测框分离后的各视频帧图像内，所述食材特征的检测框的中心点位于所述第二像素区域时，则判断该食材为存入。

6.根据权利要求1所述的物品信息识别方法，其特征在于，所述方法还包括：

当检测到所述手部特征的检测框消失于所述视频帧图像中，则系统关闭存取模式。

7.根据权利要求1或5所述的物品信息识别方法，其特征在于，所述方法还包括：

对存放于所述抽屉内的食材信息进行更新，所述食材信息包括食材种类和食材数量。

8.根据权利要求1所述的物品信息识别方法，其特征在于，所述于所述各视频帧图像中分割出多个检测框，每个检测框对应于一个特征物品，并识别所述检测框内的特征物品，所述特征物品包括食材特征和手部特征，具体包括：

利用目标检测算法，标定出所述视频帧图像中每个特征物品所对应的检测框；

利用目标识别算法，对各检测框内对应的特征物品信息进行识别。