[发明专利]一种基于注意力交叉和双路特征融合网络的注视估计检测算法

权利要求书

1.获取并整理用于训练和测试的注视估计数据集。

1.1对获取到的注视估计数据集(包括MPIIFACEGaze数据集，Gaze360数据集，Eth-XGaze数据集)进行归纳整理，并通过数据预处理方法消除环境因素，简化凝视回归问题。目前的数据整顿方法主要集中在头部姿势和光照的因素上。

1.2此发明，利用具有110名参与者的Eth-XGaze数据集训练数据集用于训练模型；利用MPIIFACEGaze数据集，Gaze360数据集中的测试数据集，用于检测模型泛化性能。

1.3图像预处理：我们首先定义一个参考点，通常是眼睛中心或面部中心。然后，我们旋转虚拟摄像机，旋转后的摄像机指向参考点。这个操作可以消除由摄像机位置引起的差异。我们还旋转虚拟摄像机，使旋转后的摄像机捕捉到的外观朝向前方。最后，我们对图像进行缩放，以确保主体和摄像机之间的距离相同。注意，上述操作只解释了图像方面的整顿。凝视的方向也要进行转换。

光照也会影响人眼的外观。为了处理这个问题，我们采用灰度眼睛图像而不是RGB眼睛图像作为输入，并在灰度图像中应用直方图均衡化来增强图像。

2.本发明利用深度学习中的Transformer网络和CNN网络作为本发明的主干网络用于提取面部特征和眼部特征。

2.1构建Transformer编码器用于提取面部特征，Transformer编码器采用传统的编解码器架构，其中输入图像最初被划分为16个块。这些块随后被压平，并对其进行输出维数为D₀的线性投影，以生成原始嵌入序列。生成的嵌入作为transformer编码器的输入，变压器编码器由L层多头自注意(MSA)和多层感知器(MLP)组成。自注意模块是变压器编码器的核心，它通过以下公式对每一层的信息进行全局聚合来更新每个嵌入补丁的状态:

其中[q,k,v]＝zW_qkv，为投影矩阵，分别为z和q的第i行。MSA通过连接多个自注意模块SA并将潜在维度投影到来扩展SA。MLP是一个密集的层堆栈，包括全连接+GELU激活函数+Dropout，其中第一个全连接层将输入节点数量增加了四倍，第二个全连接层恢复了原始节点数量。对最后一个transfomer层的输出进行层归一化，得到编码后的序列ZL被重塑以产生最终输出

2.2构建CNN编码器用于提取眼部特征，我们的CNN分支设计依靠ResNet网络架构，传统ResNet包含有5层，我们选择其第二层的输出作为我们进行后续融合的特征信息，首先我们使用双三次插值法对左右眼图像进行上采样(56×56→224×224)，之后由ResNet网络进行特征提取，以生成原始特征图像对和

f_c＝Conv(f_eyeup)  (2)

其中up表示上采样操作，Conv表示卷积操作。

3.基于步骤2中提出的左右眼特征，本发明设计一个注意力交叉融合模块(AttentionCross-fusion Module，ACFusion)用于融合左右眼的特征，通过逐层细化的左、右眼特征图以及原特征图，得到信息加强的特征图。

3.1以左眼特征f_L为例，首先我们计算输入图像各通道的权重，对特征进行校正保留具有价值的特征图，将f_L送入通道注意力模块中得到特征图

其中ChannelAttn表示通道注意力模块。

3.2将步骤3.1得到的特征图与右眼未处理特征图fR作乘，该结果再进行卷积操作，通过ReLU函数计算卷积后的特征，引入残差连接将输出与最初输入的右眼特征图相乘连接，共同进行卷积操作，之后我们将得到的特征图

其中表示矩阵乘积，Relu，BatchNorm分别表示Relu函数，和批量归一化操作。

3.3步骤3.2得到的特征图通过空间注意力模块中，得到特征图

其中SpitialAttn表示空间注意力模块；最后，我们将经过逐层细化的左右眼特征图与原始特征图f_L，f_R进行连接输出，以更好的把握全局上下文信息，输出结果为fc。

其中，Concat表示连接操作。