[发明专利]基于互注意力神经网络的就餐人员监控方法

说明书

本发明公开了一种基于互注意力神经网络的就餐人员监控方法。所述方法，包括：获取多个餐厅图像；将所述多个餐厅图像输入卷积神经网络的第一部分以获得部分深度特征图；将所述部分深度特征图输入所述卷积神经网络的自集成注意力神经网络以获得部分深度注意力图；将所述部分深度特征图输入所述卷积神经网络的第二部分以获得全局深度特征图；融合所述部分深度注意力图和所述全局深度特征图以获得最终特征图；以及，基于所述最终特征图进行图像语义分割以获得图像语义分割结果，所述图像语义分割结果表示所述餐厅的监控结果。这样，基于更高精度的所述餐厅图像的语义分割结果，能够更为精确地对餐厅内就餐人员聚集程度进行监控。

技术领域

本申请涉及人工智能技术领域，且更为具体地，涉及一种基于互注意力神经网络的智慧园区的就餐人员监控方法、装置和电子设备。

背景技术

智慧城市是把新一代信息技术充分运用在城市中各行各业的城市信息化高级形态。智慧园区是智能城市建设的重要部分，餐厅是每个园区都会配置的基础设置。

餐厅是人群密集的地方，对于餐厅内就餐人员的聚集程度的监控是餐厅监控的重要内容，尤其是在传播性疾病（例如，新冠肺炎）爆发的阶段。国家相关部分已规定：在疫情期间，餐厅内的就餐人员应间隔进食，以降低疾病传播的风险。

目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

深度学习以及神经网络的发展（尤其是图像语义分割技术的发展）为智能园区的餐厅内就餐人员的聚集程度的监控提供了新的解决思路和方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于互注意力神经网络的智慧园区的就餐人员监控方法、装置和电子设备，其基于互注意力神经网络的卷积神经网络模型对所采集的餐厅图像进行图像语义分割，以提高餐厅图像的分割精度和识别精度，从而能够精确地对智能园区内的餐厅内就餐人员的聚集程度进行监控。

根据本申请的一个方面，提供了一种基于互注意力神经网络的智慧园区的就餐人员监控方法，其特征在于，包括：

获取由多个不同拍摄角度的图像采集装置所拍摄的所述智慧园区的餐厅的多个餐厅图像；

将所述多个餐厅图像输入第一卷积神经网络的第一部分以获得部分深度特征图；

将所述部分深度特征图输入所述第一卷积神经网络的第二部分以获得全局深度特征图；

将所述多个餐厅图像输入第二卷积神经网络以获得参考深度特征图，所述第二卷积神经网络具有与所述第一卷积神经网络的第一部分相同的结构；

将所述参考深度特征图与所述部分深度特征图输入互注意力神经网络以获得互注意力深度图；

将所述互注意力深度图与所述全局深度特征图进行点乘以获得最终特征图；以及

基于所述最终特征图进行图像语义分割以获得图像语义分割结果，所述图像语义分割结果表示所述餐厅的监控结果。

在上述智慧园区的就餐人员监控方法中，所述第一卷积神经网络的第一部分具有第一层数，所述第一卷积神经网络的第二部分具有第二层数，所述第一层数小于所述第二层数。

在上述智慧园区的就餐人员监控方法中，所述第一层数是N，所述第二层数是M，则满足。

在上述智慧园区的就餐人员监控方法中，将所述参考深度特征图与所述部分深度特征图输入互注意力神经网络以获得互注意力深度图，包括：

将所述参考深度特征图与所述部分深度特征图在预定维度上进行拼接以获得拼接特征图，其中，所述预定维度，包括所述特征图的宽度维度、高度维度，或者，通道维度；