[发明专利]基于transformer模型的汉语词义消歧方法

摘要

本发明涉及一种基于transformer模型的汉语词义消歧方法。本发明首先对汉语语料进行处理，对包含歧义词汇的汉语句子进行分词、词性标注和语义类标注，然后用word2vec工具把语料处理成词向量；然后把训练数据传入模型，计算消歧词汇和歧义词的注意力，通过获得的注意力值来赋予消歧词汇不同的权重，从而更新词向量。消歧特征通过稀疏化，残差连接，正则化后输入全连接层进行加权处理，最后在softmax层输出歧义词的预测概率分布。用训练好的模型对测试语料进行消歧，输出歧义词的预测概率分布，具有最大概率的语义类别即为歧义词汇的语义类别。本发明对歧义词汇实现了很好的消歧，消歧准确率较高。