[发明专利]基于多传感器信息融合的辅助烹饪系统

说明书

本申请公开了一种基于多传感器信息融合的辅助烹饪系统，其使用基于深度学习的深度神经网络模型对电子眼采集的食材烹饪过程的监控视频和电子鼻采集的所述食材烹饪过程中多个预定时间点的气味数据进行编码以得到食材烹饪图像特征向量和气味特征向量，然后，为了提升所述食材烹饪图像特征向量和所述气味特征向量在深层次的高维特征空间内的融合性能，对两者进行特征向量的深度单应对齐式融合以得到包含图像语义的深层语义关联信息和气味数据的时序关联信息的分类特征向量，并通过分类器以得到用于表示是否结束烹饪的分类结果，通过这样的方式，以避免食材过度烹饪或者未烹饪充分就结束烹饪。

技术领域

本申请涉及人工智能技术领域，且更为具体地，涉及一种基于多传感器信息融合的辅助烹饪系统。

背景技术

随着经济的不断发展，食品行业迎来了发展的黄金期，新时期下，“中央厨房”凭借其在成本控制、集中采购、标准化作业以及加工配送方面的优势，已经成为餐饮工业化发展的必然趋势。

在智能化中央厨房中，利用新一代信息技术来辅助烹饪是重要的应用研究，例如，通过新一代信息技术来进行食材烹饪状态监控以避免食材因厨师的遗忘而导致过度烹饪等。

因此，期待一种辅助烹饪系统，其能够对食材烹饪进度进行智能分析与判断以避免食材过度烹饪或者未烹饪充分就结束烹饪。

近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

深度学习以及神经网络的发展为食材烹饪进度的智能分析提供了新的解决思路和方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于多传感器信息融合的辅助烹饪系统，其使用基于深度学习的深度神经网络模型对电子眼采集的食材烹饪过程的监控视频和电子鼻采集的所述食材烹饪过程中多个预定时间点的气味数据进行编码以得到食材烹饪图像特征向量和气味特征向量，然后，为了提升所述食材烹饪图像特征向量和所述气味特征向量在深层次的高维特征空间内的融合性能，对两者进行特征向量的深度单应对齐式融合以得到包含烹饪过程中图像变化特征和气味数据实时变化特征的分类特征向量，并通过分类器以得到用于表示是否结束烹饪的分类结果，通过这样的方式，以避免食材过度烹饪或者未烹饪充分就结束烹饪。

根据本申请的一个方面，提供了一种基于多传感器信息融合的辅助烹饪系统，其包括：

多传感器数据采集模块，用于获取由电子眼采集的食材烹饪过程的监控视频和由电子鼻采集的所述食材烹饪过程中多个预定时间点的气味数据；

当前帧提取模块，用于从所述监控视频中提取当前帧；

去除模块，用于将所述当前帧通过基于深度神经网络的去雾生成器以得到去雾当前帧；

纹理特征提取模块，用于使用灰度共生矩阵对所述去雾当前帧进行处理以得到纹理特征图；

数据集融合模块，用于将所述纹理特征图和所述去雾当前帧在数据级进行级联以得到多通道图像；

图像深度编码模块，用于将所述多通道图像通过作为过滤器的第一卷积神经网络以得到食材烹饪图像特征向量；

气味编码模块，用于将所述食材烹饪过程中多个预定时间点的气味数据通过包含一维卷积层和全连接层的时序编码器以得到气味特征向量；

多传感器特征融合模块，用于融合所述食材烹饪图像特征向量和所述气味特征向量以得到分类特征向量；以及

辅助烹饪结果生成模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否结束烹饪。

根据本申请的另一方面，提供了一种基于多传感器信息融合的辅助烹饪方法，其包括：