[发明专利]视觉模型降秩方法、装置、设备、存储介质以及程序产品

说明书

本公开提供了一种视觉模型降秩方法、装置、设备、存储介质以及程序产品，涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于OCR光学字符识别等场景下。该方法的一具体实施方式包括：将视觉模型的输入标记输入至视觉模型；获取视觉模型的第i层的输出标记；使用可学习权重对视觉模型的第i层的输出标记进行降秩，生成视觉模型的第i层的降秩标记；将视觉模型的第i层的降秩标记输入至视觉模型的第i+1层进行变换，生成视觉模型的第i+1层的输出标记。该实施方式提供了一种视觉模型降秩方法，通过减少标记数目加快模型训练。

技术领域

本公开涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于OCR(Optical Character Recognition，光学字符识别)等场景下。

背景技术

近期视觉模型vision transformer得到了极大的发展，vision transformer在各项视觉领域竞争中取得目前较好的模型结果。不过对比CNN(Convolutional NeuralNetworks，卷积神经网络)，transformer一般需要耗费巨大的算力进行推断和部署，因此迫切需要将transformer进行小型化压缩处理。

vision transformer是一种多层堆叠模型，运行时将图片分成一个一个的图像块(一个图像块对应一个标记)。图像块越多模型的精度越高，但是也会大幅增加模型的计算量。

发明内容

本公开实施例提出了一种视觉模型降秩方法、装置、设备、存储介质以及程序产品。

第一方面，本公开实施例提出了一种视觉模型降秩方法，包括：将视觉模型的输入标记输入至视觉模型，其中，视觉模型的输入标记的标记数目为N，标记维数为C；获取视觉模型的第i层的输出标记，其中，i为正整数，视觉模型的第i层的输出标记的标记数目为N，标记维数为C；使用可学习权重对视觉模型的第i层的输出标记进行降秩，生成视觉模型的第i层的降秩标记，其中，可学习权重的行数为n，列数为N，视觉模型的第i层的降秩标记的标记数目为n，标记维数为N，且nN；将视觉模型的第i层的降秩标记输入至视觉模型的第i+1层进行变换，生成视觉模型的第i+1层的输出标记，其中，视觉模型的第i+1层的输出标记的标记数目为n，标记维数为N。

第二方面，本公开实施例提出了一种视觉模型降秩装置，包括：第一输入模块，被配置成将视觉模型的输入标记输入至视觉模型，其中，视觉模型的输入标记的标记数目为N，标记维数为C；获取模块，被配置成获取视觉模型的第i层的输出标记，其中，i为正整数，视觉模型的第i层的输出标记的标记数目为N，标记维数为C；降秩模块，被配置成使用可学习权重对视觉模型的第i层的输出标记进行降秩，生成视觉模型的第i层的降秩标记，其中，可学习权重的行数为n，列数为N，视觉模型的第i层的降秩标记的标记数目为n，标记维数为N，且nN；变换模块，被配置成将视觉模型的第i层的降秩标记输入至视觉模型的第i+1层进行变换，生成视觉模型的第i+1层的输出标记，其中，视觉模型的第i+1层的输出标记的标记数目为n，标记维数为N。

第三方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。

第四方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。

第五方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面中任一实现方式描述的方法。

本公开实施例提供的视觉模型降秩方法，提供了一种视觉模型降秩方法，利用矩阵降秩方法对视觉模型的某些层与层之间的标记进行降秩。通过减少视觉模型的标记数目，来加快模型训练和推断速度。