[发明专利]一种基于图像处理的厨房油烟检测方法

权利要求书

1.一种基于图像处理的厨房油烟检测方法，其特征在于，包括以下步骤；

步骤S1：基础信息获取，包括人员信息感知和油烟浓度信息感知，获取人员信息和油烟浓度信息，用于后续进行奖励矩阵的生成；

步骤S2：基于油烟浓度和人员动作生成奖励矩阵，用于获取基准人员动作序列；

所述奖励矩阵获取具体步骤为：

1)以油烟浓度作为行信息，以人员动作作为列信息生成初始奖励矩阵，初始奖励矩阵中元素值均为0；

2)设定一组油烟浓度和人员动作唯一对应一个奖励值，即在某个油烟浓度下，采取某种动作的奖励值，第m个区间的油烟浓度以c_m表示，第n个类别人员动作以a_n表示，则奖励值表示为R_m，n＝f(c_m，a_n)，f(c，a)表示以c和a为参数的映射函数，奖励值与油烟浓度变化值Δc呈负相关关系，在烹饪过程中，无论油烟浓度为任何值，人员动作对应的奖励值大小均应为R_m，1R_m，2R_m，3，其中，R_m，1表示在油烟浓度位于第m个区间时采取倾倒动作的奖励值，R_m，2表示在油烟浓度位于第m个区间时采取翻炒动作的奖励值，R_m，3表示在油烟浓度位于第m个区间时采取等待动作的奖励值；

3)构建奖励矩阵生成网络，网络输入为离散时序下的序列；序列送入特征提取编码器中获取特征张量，特征张量送入奖励矩阵生成解码器中，输出奖励矩阵，也即输出为奖励矩阵，该奖励矩阵与初始奖励矩阵尺寸一致；

步骤S3：帧差间隔确定，用于自适应获取帧差间隔，以提高油烟检测的准确率；

步骤S4：油烟检测，用于感知油烟浓度，进而进行油烟机风口控制。

2.根据权利要求1所述的基于图像处理的厨房油烟检测方法，其特征在于，所述步骤S1中人员信息感知具体为：通过关键点检测网络获取人体关键点、厨具关键点和容器关键点，关键点网络的输入为单帧图像，输出为关键点热力图，以已知时间戳的视频序列中的各帧图像作为输入，获取对应的关键点热力图；所述油烟浓度信息感知具体为：通过油烟浓度检测传感器获取各时刻的油烟浓度，各时刻油烟浓度以采集信息的时间戳作为时间标识，且人员信息和油烟浓度信息通过时间戳进行一一对应。

3.根据权利要求2所述的基于图像处理的厨房油烟检测方法其特征在于，所述人体关键点包括头部、手部、肘部、肩部和根节点共8个关键点类别，所述厨具关键点包括锅、铲、勺和筷子，所述容器关键点包括碗、瓶和罐。

4.根据权利要求3所述的基于图像处理的厨房油烟检测方法，其特征在于，所述奖励矩阵生成网络训练过程具体为：将多组基于不同场景下不同烹饪内容的视频序列获取的作为训练数据集，网络的损失函数为L＝L_co+L_R；其中，L_co为动作损失，具体地，L_co用于确保动作对应的奖励值大小满足R_m，1R_m，2R_m，3，采用指数函数的目的为令变量小于0时，L_co为小于1的数，变量大于0时，L_co为大于1的数，同时为了扩大影响关系，添加了放缩系数Q，Q为大整数；L_R为变化量损失，具体地，即当浓度值变大时，当前奖励值应大于未来时刻的奖励值，反之亦然，采用放缩系数Q和指数函数来确保为小于0的数。

5.根据权利要求4所述的基于图像处理的厨房油烟检测方法，其特征在于，所述步骤S3中帧差间隔获取具体为：

a)根据所获取的奖励矩阵，基于初始状态进行最优动作组合选取，此时应考虑到人员动作自身特性影响；

b)最优动作组合选取策略为：获取烹饪过程持续时间当前动作类别和当前动作持续时间通过统计获取当前情况下各动作出现概率并基于动作类别以与奖励矩阵元素分别相乘，获取修正奖励矩阵；

c)根据修正奖励矩阵，基于遗忘思想进行当前最优奖励选取，即R_n″＝αR_n+(1-α)R′_n，式中，R″_n为选择动作类别n的最终奖励评价，R_n为选择动作类别n的当前时刻奖励值，R′_n为选择动作类别n的未来奖励值；α为遗忘系数，用于确定考虑之后奖励的程度，其设置为0.8；选择max(R″_n)对应的动作类别作为当前选取的动作类别；

d)根据所选择的动作类别更新烹饪过程持续时间当前动作类别和当前动作持续时间重复步骤b、c，直至T_a＝m_t，m_t为预期烹饪时长，为经验值；至此，获取最优动作序列；

e)根据实际动作序列与基准动作序列进行偏差分析，进行逐帧对比，当存在差异时，将差异大小通过修改的Sigmoid函数进行映射，映射值向下取整后即为帧间间隔修正值，所述修改的Sigmoid函数具体为：