[发明专利]基于Transformer-CRF的藏文分词方法

说明书

本发明公开了一种基于Transformer‑CRF的藏文分词方法，该方法包括：输入数据集、数据预处理、音节扩展、构建基于Transformer‑CRF的藏文分词模型、训练并保存模型及其参数以及输入待分词语料，输出分词结果。本发明以当前音节为中心向左向右扩展两个单元，使用unigram和bigram相结合的方法，可以提取到更多的特征向量。同时，本发明克服了传统分词方法中存在的运算速度、准确率低等缺点。另外，基于Transformer‑CRF的藏文分词模型采用并行计算，大大增加了计算效率，而且模型中的自注意力机制的特征抽取能力比LSTM的特征抽取能力要好。

技术领域

本发明属于自然语言处理领域，具体涉及一种基于Transformer-CRF的藏文分词方法。

背景技术

藏文是我国一种历史悠久的民族语言，藏文由音节和音节点构成，按音节拼写。音节间用隔开，词尾用终结。例如中词是由两个音节组成，音节中间由隔开，一个音节相当于汉语中的一个字。藏语其使用范围遍及西藏、青海、甘肃、四川、云南等西部地区以及尼泊尔、不丹、巴基斯坦、印度等国家的部分地区，使用人口多达800万，分布地域广大。因此加强对藏文信息处理的基础研究很有必要。

分词是指将连续的字序列按照一定的规范重新组合成词序列的过程，对于一个输入句子X＝[x₁,x₂,...,x_i,...,x_n](其中X表示句子、x_i为句子中第i个字，i＝1,2,…,n，在本发明中，n最大为80)，经过编码后得到的向量输入到分词模型中，得到句子中每个字的标签y＝(y₁,y₂,...,y_i,...,y_n)。(其中y_i为句子中第i个字的标签、y_i∈{B,M,E,S}，起始字标签B，中间字标签M，结束字标签E，单个字标签S)。在藏文信息处理中，只要涉及到句法、语义，就需要以词为单位进行处理，如藏文信息检索、文本校正、机器翻译、文本分类、自动摘要等。因而在藏文信息处理中首先需要解决词的切分问题。

在分词领域中，以前的研究都是把分词问题看作为序列标注的问题，其按照算法分类可分为基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。这些方法的最大缺点是需要有大量预先分好词的语料作支撑，训练过程中时空开销极大，而且在效率和精度上远不及深度学习的方法。

近年来，随着深度神经网络的不断发展，基于深度神经网络的分词模型已经成为主流，常用的是循环神经网络(RNN)系列，具有代表性的网络是长短时记忆网(LSTM)以及门控循环单元(GRU)。但是由于RNN的训练是迭代的、串行的，必须要等当前字处理完，才可以处理下一个字，无法进行并行计算，为藏文分词模型在大规模语料上运用带来困难，且计算效率较低。

在2017年，谷歌提出了一种用于seq2seq任务的Transformer模型，它没有RNN循环结构或者卷积神经网络(CNN)的卷积结构，Transformer是一种避免循环的模型结构，它完全依赖于注意力机制对输入输出的全局依赖关系进行建模。相比于RNN模型，Transformer可以进行并行输入且具有更好的特征提取能力。

发明内容

基于上述问题以及Transformer模型的优点，本发明提出了一种基于Transformer-CRF的藏文分词方法，该方法使用Transformer-Encoder作为特征提取器将自然语言序列映射为隐藏层。利用条件随机场(CRF)作为解码器将隐藏层映射为标签序列，该方法可以并行地将字向量输入，计算效率更高。