[发明专利]一种零样本中文单字识别方法、系统、装置及存储介质

说明书

本发明公开了一种零样本中文单字识别方法、系统、装置及存储介质，其中方法包括：提取中文单字图像的视觉特征；对中文单字类别进行可学习的类别编码，对中文单字的部件结构进行分解，并计算得到可学习的类别编码；将所述中文单字的类别编码映射到视觉空间中，通过重构损失函数来约束类别编码在映射前后的语义一致性；通过基于transformer的解码器，匹配中文单字的类别编码和图像的视觉特征，从图像的视觉特征上获取与类别编码相关的特征，最终解码输出中文单字的识别结果。本发明通过可学习的类别编码方法，实现了零样本的中文单字识别，解决了现有中文单字识别方法依赖于大量有标注数据的问题。本发明可广泛应用于模式识别与人工智能技术领域。

技术领域

本发明涉及模式识别与人工智能技术领域，尤其涉及一种零样本中文单字识别方法、系统、装置及存储介质。

背景技术

中文是世界上最古老的文字之一，距今已经有几千年的历史。研究中文单字识别，对古籍资料的电子化保存具有重要的价值和意义。目前的中文单字识别方法主要依赖的是以数据为驱动的深度学习方法，该方法需要标注大量的训练样本。然而中文的类别数量庞大，根据GB18030-2005的标准有70224种中文单字，为每一种中文单字都标注充足的数据是一件困难且耗费时间金钱的问题。近年来一些相关的工作，通过采用基于部件解码或基于部件编码的零样本识别方法来尝试解决上述的问题。但是基于部件解码的方法需要较长的解码时间和后处理操作，而基于部件的编码的方法采用的是人工设计的编码，不能够灵活地根据不同的数据进行调整。

发明内容

为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种零样本中文单字识别方法、系统、装置及存储介质。

本发明所采用的技术方案是：

一种零样本中文单字识别方法，包括以下步骤：

提取中文单字图像的视觉特征；

对中文单字类别进行可学习的类别编码，采用深度优先搜索的算法，对中文单字的部件结构进行分解，并计算得到可学习的类别编码；

将所述中文单字的类别编码映射到视觉空间中，基于全连接层的映射模块，使得中文单字的类别编码的维度等于视觉空间的维度，并通过重构损失函数来约束类别编码在映射前后的语义一致性；

通过基于transformer的解码器，匹配中文单字的类别编码和图像的视觉特征，从图像的视觉特征上获取与类别编码相关的特征，最终解码输出中文单字的识别结果。

进一步地，所述提取中文单字图像的视觉特征，包括：

采用基于密集连接的卷积神经网络的图像编码器，提取所述中文单字图像的视觉特征。

进一步地，所述图像编码器采用DenseNet121模型作为主干网络，用于提取图像的视觉特征；

所述主干网络采用8倍下采样的方式，为了使得输出的视觉特征能够更好地与类别编码进行匹配，所述主干网络去掉最后输出的激活层和全局平均池化层。

进一步地，所述对中文单字类别进行可学习的类别编码，采用深度优先搜索的算法，对中文单字的部件结构进行分解，并计算得到可学习的类别编码，包括：

根据中文的表意文字序列词典，通过深度优先搜索算法得到分解后的中文单字的部件序列，所述部件序列表示为树的数据结构，得到每个部件的深度信息和相对位置信息；其中，深度信息表示的是部件在树中的深度，相对位置信息表示的是部件相对其父结点的位置；

计算得到每个中文单字相应的可学习的类别编码，计算过程表示如式(1)所示：