[发明专利]物品信息识别方法、制冷设备和计算机存储介质

说明书

本发明揭示一种物品信息识别方法、制冷设备和计算机存储介质，包括：对连续拍摄的各视频帧图像进行图像处理；当检测到手部特征检测框与食材特征检测框相重叠时，系统进入存取模式；在该模式下，持续对与手部特征检测框相重叠的食材特征检测框进行追踪；当检测到该食材特征检测框消失于视频帧图像时，则获取食材特征检测框消失前的一视频帧图像；若食材特征检测框消失前的一视频帧图像中该食材特征检测框的中心点位于第一像素区域，则判断该食材为取出；若食材特征检测框消失前的一视频帧图像中该食材特征检测框的中心点位于第二像素区域，则判断该食材为存入。本发明有效记录抽屉内放置食材的数据信息，为用户提供更加便捷的服务。

技术领域

本发明涉及制冷装置领域，尤其涉及一种物品信息识别方法、制冷设备和计算机存储介质。

背景技术

随着电器智能化的发展，对内部物品进行识别已经是智能冰箱所必需的功能。通常为了实现对冰箱内存放物品的识别，冰箱内部都安装有一个或多个摄像头用于采集冰箱内物品照片，并对采集到的照片进行识别处理后发送到使用终端，以供用户查看。

但是，在向冰箱内摄像头识别专区抽屉内添加食材进行保存时，碍于专区本身的结构局限性，以及考虑到用户使用时的具体情况，专区抽屉可能不会完全打开，这就造成了在摄像头抽屉内部会产生“死角”，比如，如果抽屉上方采用的是不透明搁物架，则当抽屉处于半开状态或者未完全打开时，摄像头无法采集被搁物架遮挡的抽屉内部存放情况；而如果抽屉上方采用的是透明搁物架，当搁物架上堆叠了其他食材时，也会因为这部分食材的遮挡而无法采集抽屉内部的存放情况。而当用户存放食材到这些摄像头拍摄不到这些视野盲区时，通过常规的拍照分析，摄像头无法识别抽屉内存放的所有食材，从而造成了冰箱控制中心对于食材存放数据的偏差。

发明内容

本发明的目的在于提供一种物品信息识别方法、制冷设备和计算机存储介质。

为实现上述发明目的之一，本发明一实施方式提供一种物品信息识别方法，包括步骤：

对连续拍摄的各视频帧图像进行图像处理，其中，于所述各视频帧图像中识别出相交轮廓线组成的轮廓框，定义为第一像素区域，第二像素区域和第三像素区域，所述第一像素区域为抽屉外侧区域，所述第二像素区域为抽屉内空间可见区域，所述第三像素区域为抽屉内空间被遮挡区域；于所述各视频帧图像中分割出多个检测框，每个检测框对应于一个特征物品，并识别所述检测框内的特征物品，所述特征物品包括食材特征和手部特征；

当检测到所述手部特征的检测框与所述食材特征的检测框相重叠时，系统进入存取模式；

在所述存取模式下，持续对与所述手部特征的检测框相重叠的所述食材特征的检测框进行追踪；

当检测到与所述手部特征的检测框相重叠的所述食材特征的检测框消失于所述视频帧图像时，则获取所述食材特征的检测框消失前的一视频帧图像；

若所述食材特征的检测框消失前的一视频帧图像中该食材特征的检测框的中心点位于所述第一像素区域，则判断该食材为取出；

若所述食材特征的检测框消失前的一视频帧图像中该食材特征的检测框的中心点位于所述第二像素区域，则判断该食材为存入。

作为本发明一实施方式的进一步改进，当所述抽屉打开时，触发开始拍摄指令；当所述抽屉关闭时，触发关闭拍摄指令。

作为本发明一实施方式的进一步改进，当检测到所述手部特征的检测框与所述食材特征的检测框相重叠时，系统进入存取模式，具体包括：

于所述各视频帧图像中建立坐标系，并获取各所述特征物品检测框的坐标范围；

当检测到所述手部特征的检测框的坐标范围与所述食材特征的检测框的坐标范围有部分重叠时，则系统进入存取模式。