[发明专利]基于Transformer-CRF的藏文分词方法

权利要求书

1.一种基于Transformer-CRF的藏文分词方法，其特征在于，该方法包括如下步骤：

步骤S1)：获取藏文语料，对于所述藏文语料中的每个藏文句子，已经标注了各音节的标签，所述标签为B、M、E或S，其中B表示起始字标签，M表示中间字标签，E表示结束字标签，S表示单个字标签，藏文句子中的一个音节相当于汉语中的一个字；

步骤S2)：将所述藏文语料进行预处理，得到预处理后的语料库；

步骤S3)：对所述预处理后的语料库中的每个句子，通过音节扩展层对其中的每个音节进行音节扩展，得到每个音节经过音节扩展之后的音节特征，由此得到音节扩展后的语料库，将所述音节扩展后的语料库中的所有句子按预设比例划分得到训练集、验证集及测试集；

步骤S4)：构建基于Transformer-CRF的藏文分词模型，所述基于Transformer-CRF的藏文分词模型依次包括Transformer-Encoder层和条件随机场(CRF)层，Transformer-Encoder层将每个扩展后的音节分别映射成隐藏层；

步骤S5)：由于Transformer-Encoder层无法学到一个藏文句子中各音节标签之间的关系，利用所述Transformer-CRF的藏文分词模型中的条件随机场层对Transformer-Encoder层得到的隐藏层进行约束修正，所述约束修正采用所述训练集训练基于Transformer-CRF的藏文分词模型实现，训练的最大轮数设置为N′轮；并使用所述验证集对基于Transformer-CRF的藏文分词模型的超参数进行调整，得到调参后的Transformer-CRF的藏文分词模型。

步骤S6)：将所述测试集中的藏文句子输入到Transformer-CRF的藏文分词模型中，然后计算Transformer-CRF的藏文分词模型藏文分词精准率P、召回率r、综合指标F1的值；。

2.根据权利要求1所述的基于Transformer-CRF的藏文分词方法，其特征在于，所述步骤S2)中的预处理操作包括：首先根据所述藏文语料的文本数据来源进行包括编码转换在内的基本文本处理；其次对进行基本文本处理后的所述藏文语料检测完整性，具体为：计算所述藏文语料中的每一个音节加上其标签的长度是否为2，如果是则完整的，如果不是，则当前音节是不完整的。

3.根据权利要求2所述的基于Transformer-CRF的藏文分词方法，其特征在于，所述步骤S3)中对所述预处理后的语料库中的每个句子，通过音节扩展层对其中的每个音节进行音节扩展具体包括：

对于所述预处理后的语料库中的每一个藏文句子X＝[x₁,x₂,...,x_i,...,x_n]，在其句首和句尾分别添加两个特殊音节BOS和EOS作为起始字符和结束字符，表示为X＝[bos,bos,x₁,x₂,...,x_i,...,x_n,eos,eos]，以藏文句子X中当前音节为中心向左向右各扩展两个音节单元，设置窗口大小为5，使用窗口内音节的unigram和bigram相结合，作为当前音节的输入，藏文句子X经过音节扩展之后的特征表示为X′＝[x′₁,x′₂,...,x′_i,...,x′_n]，其中x′_i表示藏文句子X中第i个音节x_i经过音节扩展之后的音节特征，i＝1,2,…,n；n为藏文句子X的长度。