[发明专利]非接触式计算机视觉食物营养素识别方法和系统及设备

权利要求书

1.一种非接触式计算机视觉食物营养素识别方法，其特征在于，包括：

步骤S1：拍摄采集膳食图像；

步骤S2：对所述膳食图像进行识别；

步骤S3：根据识别得到的膳食，确定膳食在第一层级分类中的类型，记为第一类型；

步骤S4：根据识别得到的膳食的第一类型，确定膳食在第二层级分类中的类型，记为第二类型；

步骤S5：根据所述第一类型、第二类型得到膳食的营养素信息；

其中，所述第一层级分类以主料区分膳食，所述第二层级分类以配料区分膳食，第二层级分类是第一层级分类的子分类。

2.根据权利要求1所述的非接触式计算机视觉食物营养素识别方法，其特征在于，

在所述步骤S1中，通过深度相机拍摄膳食图像，其中，所述膳食图像含有膳食与盛放膳食的容器；

在所述步骤S2中，对膳食图像进行识别，识别得到容器，基于容器进一步识别得到膳食；

在所述步骤3中，通过已经训练好的第一神经网络，识别得到膳食在第一层级分类中的类型；其中，所述第一神经网络的训练样本包括以不同主料区分膳食的膳食图像样本；

在所述步骤4中，通过已经训练好的第二神经网络，识别得到膳食在第二层级分类中的类型；其中，每种第一类型的膳食均有多种不同的第二类型的膳食子分类。

3.根据权利要求1所述的非接触式计算机视觉食物营养素识别方法，其特征在于，在所述步骤S2中，对所述膳食图像进行识别，得到膳食的体积；

在所述步骤S5中，基于所述膳食的体积，根据所述第一类型、第二类型得到膳食的营养素信息。

4.根据权利要求3所述的非接触式计算机视觉食物营养素识别方法，其特征在于，所述得到膳食的体积，包括：

针对所述膳食图像，去除容器的点云，得到膳食的点云；对膳食的点云进行转化得到相应的网格，根据网格计算得到膳食的体积；

其中，对于固体类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积排除食料之间的空隙后得到所述膳食的体积；

其中，对于固液混合类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积依照设定的固液比例得到膳食中固体的体积和膳食中液体的体积作为所述膳食的体积。

5.一种非接触式计算机视觉食物营养素识别系统，其特征在于，包括：

模块M1：拍摄采集膳食图像；

模块M2：对所述膳食图像进行识别；

模块M3：根据识别得到的膳食，确定膳食在第一层级分类中的类型，记为第一类型；

模块M4：根据识别得到的膳食的第一类型，确定膳食在第二层级分类中的类型，记为第二类型；

模块M5：根据所述第一类型、第二类型得到膳食的营养素信息；

其中，所述第一层级分类以主料区分膳食，所述第二层级分类以配料区分膳食，第二层级分类是第一层级分类的子分类。

6.根据权利要求5所述的非接触式计算机视觉食物营养素识别系统，其特征在于，

在所述模块M1中，通过深度相机拍摄膳食图像，其中，所述膳食图像含有膳食与盛放膳食的容器；

在所述模块M2中，对膳食图像进行识别，识别得到容器，基于容器进一步识别得到膳食；

在所述步骤3中，通过已经训练好的第一神经网络，识别得到膳食在第一层级分类中的类型；其中，所述第一神经网络的训练样本包括以不同主料区分膳食的膳食图像样本；

在所述步骤4中，通过已经训练好的第二神经网络，识别得到膳食在第二层级分类中的类型；其中，每种第一类型的膳食均有多种不同的第二类型的膳食子分类。

7.根据权利要求5所述的非接触式计算机视觉食物营养素识别系统，其特征在于，在所述模块M2中，对所述膳食图像进行识别，得到膳食的体积；

在所述模块M5中，基于所述膳食的体积，根据所述第一类型、第二类型得到膳食的营养素信息。