[发明专利]基于互注意力神经网络的就餐人员监控方法

权利要求书

1.一种基于互注意力神经网络的智慧园区的就餐人员监控方法，其特征在于，包括：

获取由多个不同拍摄角度的图像采集装置所拍摄的所述智慧园区的餐厅的多个餐厅图像；

将所述多个餐厅图像输入第一卷积神经网络的第一部分以获得部分深度特征图；

将所述部分深度特征图输入所述第一卷积神经网络的第二部分以获得全局深度特征图；

将所述多个餐厅图像输入第二卷积神经网络以获得参考深度特征图，所述第二卷积神经网络具有与所述第一卷积神经网络的第一部分相同的结构；

将所述参考深度特征图与所述部分深度特征图输入互注意力神经网络以获得互注意力深度图；

将所述互注意力深度图与所述全局深度特征图进行点乘以获得最终特征图；以及

基于所述最终特征图进行图像语义分割以获得图像语义分割结果，所述图像语义分割结果表示所述餐厅的监控结果。

2.根据权利要求1所述的智慧园区的就餐人员监控方法，其中，所述第一卷积神经网络的第一部分具有第一层数，所述第一卷积神经网络的第二部分具有第二层数，所述第一层数小于所述第二层数。

3.根据权利要求1所述的智慧园区的就餐人员监控方法，其中，所述第一层数是N，所述第二层数是M，则满足。

4.根据权利要求1所述的智慧园区的就餐人员监控方法，其中，将所述参考深度特征图与所述部分深度特征图输入互注意力神经网络以获得互注意力深度图，包括：

将所述参考深度特征图与所述部分深度特征图在预定维度上进行拼接以获得拼接特征图，其中，所述预定维度，包括所述特征图的宽度维度、高度维度，或者，通道维度；

将所述拼接特征图输入所述互注意力神经网络的池化层以获得池化特征图；

将所述池化特征图输入所述互注意力神经网络的卷积层以获得卷积特征图；

将所述卷积特征图输入所述互注意力神经网络的下采样层以获得下采样特征图，所述下采样层在所述预定维度上对所述卷积特征图进行下采样；以及

将所述下采样特征图与所述参考深度特征图进行点乘以获得所述互注意力深度图。

5.根据权利要求1所述的智慧园区的就餐人员监控方法，其中，所述池化层为2×2平均池化层，且所述卷积层为3×3卷积层并以Sigmoid激活函数激活。

6.根据权利要求1所述的智慧园区的就餐人员监控方法，其中，所述第一卷积神经网络与所述第二卷积神经网络和所述互注意力神经网络由训练用餐厅图像进行迭代训练而获得，所述训练用餐厅图像具有餐厅的已标注的标签。

7.根据权利要求6所述的智慧园区的就餐人员监控方法，其中，在训练过程中，在每个迭代周期内，首先固定所述第二卷积神经网络和所述互注意力神经网络的参数更新所述第一卷积神经网络的参数，然后固定所述第一卷积神经网络的参数更新所述第二卷积神经网络和所述互注意力神经网络的参数。