[发明专利]基于单深度图深度学习视图合成的食物体积估计方法

说明书

本发明公开了基于单深度图深度学习视图合成的食物体积估计方法，涉及饮食评估技术领域，其技术方案要点是：包括以下步骤：1)将每个对象项放置在原点，捕获不同视角的对象项深度图像；2)将捕获的深度图像渲染为训练数据集；3)基于深度神经网络的视图合成方法将看不见的视角和使用看不见的对象项来预测使用输入图像的结果；4)获得目标对象项的完整三维点云；5)对对象项深度图像进行预处理；6)采用ICP算法对预处理后的点云进一步优化；7)采用Alpha形状方法对对象项进行网格划分并形成三维网格，从而得到对象项的体积。基于深度传感技术和深度学习视图合成的集成方法，可以在任何方便的角度获取单个深度图像，从而实现精确的食物体积估计。

技术领域

本发明涉及饮食评估技术领域，更具体地说，它涉及基于单深度图深度学习视图合成的食物体积估计方法。

背景技术

一个客观的饮食评估系统可以帮助使用者了解他们的饮食行为，并使有针对性的干预措施能够解决潜在的健康问题。为了准确量化饮食摄入，需要测量食物的重量或体积。

对于体积估计，以前的研究主要集中在使用基于模型或基于立体的方法，这些方法依赖于手动干预，或者要求用户从不同的视角捕获多个帧，操作方式比较复杂；此外，提出了各种基于计算机视觉的技术来解决定量食物部分的问题，食品体积测量技术可分为基于模型和基于立体的两大类技术，这些技术尽管表现出了良好的性能，但仍然存在以下几点问题：

(1)基于模型的技术通常涉及不同程度的人为干预，需要参与者轮换、转移，并缩放预先构建的食品模型，使其与图像中的食品相匹配；

(2)基于立体的方法要求参与者从不同的视角拍摄多幅食物图像，操作方式复杂；

(3)其他方法需要特征点提取和匹配。对于表面光滑或纹理不明显的食品对象，无法有效提取特征点，导致三维重建失败；

(4)当从不同的视角拍摄图像时，物体的反射光会发生变化，这影响了特征点匹配和三维重建的准确性；

(5)参考对象(如基准标记)通常需要放置在食品旁边，以便准确估计。

发明内容

本发明的目的是提供基于单深度图深度学习视图合成的食物体积估计方法，解决背景技术中提到的技术问题。

本发明的上述技术目的是通过以下技术方案得以实现的：基于单深度图深度学习视图合成的食物体积估计方法，包括以下步骤：

1)将每个对象项放置在原点，通过方位旋转、仰角旋转、高度调整和中心移动四种运动方式来捕获不同视角的对象项深度图像；

2)将拍摄的图像进行分割和分类，使用多个外部摄像机参数随机渲染初始和对应的相反视角捕获的对象项的深度图像，并将捕获的深度图像渲染为训练数据集；

3)基于深度神经网络的视图合成方法将看不见的视角和使用看不见的对象项来预测使用输入图像的结果；

4)将初始深度图像和相对深度图像的相机坐标注册到同一世界坐标中，从而获得目标对象项的完整三维点云；

5)对步骤1)中的对象项深度图像进行预处理；

6)采用ICP算法对步骤5)中预处理后的点云进一步优化，使初始点云和合成点云融合在一起；

7)采用Alpha形状方法对对象项进行网格划分并形成三维网格，从而得到对象项的体积。

进一步的，所述步骤3)中的深度神经网络的视图合成的具体步骤为：

A)针对不同对象项建立不同大小内核的初始层；

B)通过几个卷积层和完全连接的层形成图像编码器；

C)将深度图像的矢量表示引导到图像解码器的若干卷积层中；