[发明专利]一种基于残差注意力Transformer的光学乐谱图像识别方法

权利要求书

1.一种基于残差注意力Transformer的光学乐谱图像识别方法，其特征是，所述方法包括以下步骤：

S1：获取待识别的光学乐谱图像并预处理；

所述步骤S1对待识别的乐谱图像预处理具体包括以下步骤：

S1-1：获取待识别乐谱图像的列像素和；

S1-2：根据上述所求列像素和，去除图像中非音符范围的像素，只保留所有的音符像素并将其按原顺序拼接成预处理后的乐谱图像；

S2：通过预先训练好的基于残差注意力Transformer的光学乐谱图像识别模型，提取所述待识别乐谱图像中的音符序列特征；

所述步骤S2具体包括以下步骤：

S2-1：基于残差注意力Transformer的光学乐谱图像识别模型由一个编码器层、一个解码器层和一个注意力层构成；

S2-2：预处理后的乐谱图像首先被输入到编码器层，编码器层由浅层的预训练Resnet网络和两层双向的LSTM神经网络组成，并且在Resnet网络的输出与最后一层LSTM网络的输出之间建立一个残差连接，然后得到编码器层的输出特征图 Enc∈R^B×Lˊ×Cˊ；其中Resnet网络提取音符的基本特征，而LSTM网络提取音符序列上下文信息；在解码器层，标签序列先被Embedding，再经过两层LSTM神经网络进行信息提取，得到解码器层的输出特征图 Dec∈R^B×Lˊ×Cˊ；

S2-3：将编码器层与解码器层的输出特征图进行维度拼接，再加上对其PositionalEncoding后的值，共同作为注意力层的输入；在注意力层中，利用残差注意力机制学习权重分布系数，对重点关注区域加强关注，抑制无关区域的关注，进一步捕获音符序列的特征信息；同时采用并行计算的统一掩码语言模型防止泄露未来信息和加快模型训练；最后，注意力层的最后一层输出特征信息向量；

S3：根据获得的音符序列特征，利用所述识别模型对所述待识别的光学乐谱图像内容进行分析与识别，得到数字化音符序列。