[发明专利]一种基于Attention机制来构建老挝语词性标注模型的方法

摘要

本发明涉及一种基于Attention机制来构建老挝语词性标注模型的方法，属于自然语言处理和机器学习技术领域。Attention机制包括编码层与解码层，编码层对输入序列进行编码，以得到包含输入序列信息的语义向量，并将语义向量传送给解码层，解码层进行相应解码。以词性标注为例：首先将老挝句子输入编码层进行编码，以得到包含该句子信息的语义向量，然后将语义向量传入解码层，解码层可以解码出句中每个老挝词的词性。老挝语词性标注模型的实现过程中，首先得构建Attention机制，然后使用老挝语词性标注语料训练Attention机制，就可以得到基于Attention机制的老挝词性标注模型。利用Attention机制建立的老挝语词性标注模型，可以有效的对老挝语进行词性标注，因此本发明具有一定的研究意义。

主权项

1.一种基于Attention机制来构建老挝语词性标注模型的方法，其特征在于：包括如下步骤：Step1、Attention机制的构建Attention机制包括两层：编码层与解码层，编码层用于老挝语的输入，解码层用于计算出每个老挝词的词性；Step 1.1、编码层编码层是基于GRU来构建，在编码层构建了两层双向GRU，在编码时，老挝句子中的第一个词将按序进入GRU中进行处理，GRU会保留并输出对词性计算有用的信息，并除去无用信息，信息以向量的形式呈现，在编码层加入了BahdanauAttention机制，BahdanauAttention机制是注意力机制的一种，首先它会选择编码层每个词的GRU输出向量，然后根据每个向量的重要程度而赋予不同权重，最后使用输出向量与权重计算语义向量C，语义向量C将被输入到解码层；Step 1.2、解码层解码层同样是基于GRU来构建，在解码层使用单层GRU，在解码运算中，首先该层GRU会根据语义向量C计算出词性信息向量，然后词性信息向量会传递给Softmax函数，Softmax函数来计算出词性概率分布；Step2、Attention机制的训练当Attention机制搭建完成后，使用老挝语词性标注语料库对Attention机制的参数进行训练，直到模型达到稳定状态，就得到Attention机制，训练过程中，首先使用交叉熵损失函数来计算解码层输出的词性概率分布与真实分布的差距，然后使用Adam算法来减少差距，以此训练Attention机制的参数；Step3、选择词性概率分布中概率最大的词性作为输出；Step4、在对老挝句子词性标注时，Attention机制循环Step1，Step3，对老挝句子中的每一个词进行处理，就可以得到该老挝句子的词性。